推荐用于R中非常大的数据集处理和机器学习的软件包
看起来R实际上是devise来处理可以完全放入内存的数据集。 什么R包被推荐用于非常大的数据集上的信号处理和机器学习，这些数据集不能被拉入内存？
如果R完全是这样做的错误的方法，我可以接受其他强大的免费build议（例如，如果有一些很好的方法来处理非常大的数据集，scipy）
查看 CRAN 高性能计算任务视图的“大内存和内存不足数据”部分。 bigmemory和ff是两个stream行的软件包。 对于大内存（以及相关的biganalytics和bigtabulate ），大内存网站有几个非常好的介绍，小插曲和Jay Emerson的概述。 对于ff，我build议阅读AdlerOehlschlägel及其同事在ff网站上的优秀幻灯片演示。
另外，考虑将数据存储在数据库中，然后读取较小批量的数据进行分析。 可能有很多方法需要考虑。 为了开始，我们看一下biglm包中的一些例子，以及Thomas Lumley的介绍 。
然后在高性能计算任务视图上调查其他软件包，并在其他答案中提到。 上面提到的软件包只是我碰巧有更多经验的软件包。
我认为你所能处理的数据量比编程技能更受限于其他任何东西。 尽pipe在内存分析中有很多标准function，但是将数据分割成块已经有很大的帮助。 当然，这比编写标准的R代码花费更多的时间进行编程，但通常情况下这是很有可能的。
切割数据可以使用read.table或readBin来完成，只读取数据的一个子集。 或者，您可以查看高性能计算任务视图，以查看是否提供即用即用的内存不足function的软件包。 你也可以把你的数据放在一个数据库中。 对于空间栅格数据，优秀的栅格包提供了内存不足分析。
对于机器学习任务，我可以推荐使用biglm软件包，用来做“回归数据太大以适应内存”。 对于使用真正大数据的R，可以使用Hadoop作为后端，然后使用软件包rmr通过Hadoop集群上的MapReduce执行统计（或其他）分析。
这一切都取决于你需要的algorithm。 如果可以将它们翻译成增量forms（在任何特定时刻只需要一小部分数据，例如对于朴素贝叶斯，只能记忆模型本身，并且正在处理当前观察），那么最好的build议是执行机器逐步学习，从磁盘读取新批次的数据。
但是，许多algorithm，尤其是它们的实现都需要整个数据集。 如果数据集的大小适合磁盘（和文件系统限制），则可以使用mmap软件包，该软件包允许将磁盘上的文件映射到内存并在程序中使用它。 但是请注意，对磁盘的读写操作很昂贵，R有时候喜欢经常来回移动数据。 所以要小心。
如果您的数据无法存储在硬盘上，则需要使用分布式机器学习系统。 一个这样的基于R的系统是Revolution R ，它被devise来处理真正的大数据集。 不幸的是，这不是开源的，花了不less钱，但是你可能会尝试获得免费的学术许可 。 或者，您可能对基于Java的Apache Mahout感兴趣 – 不是那么优雅，但非常高效的解决scheme，基于Hadoop并包含许多重要的algorithm。
如果内存不够，一个解决scheme是将数据推送到磁盘并使用分布式计算。 我认为RHadoop（R + Hadoop）可能是解决大量数据集的解决scheme之一。
