learn:6. Strategies to scale computationally: bigger data

参考:

对于examples、features(或者两者)数量很大的情况,挑战传统的方法要解决两个问题:内存和效率。办法是Out-of-core (or “external memory”) learning。有三种方法可以实现out-of-core,分别是:

1、Streaming instances(流体化实例):

简单说就是,instances是一个一个来的。具体实现不在scikit-learn文档范围。

2、Extracting features:

简单说就是利用differentfeature extractionmethods(翻译之后的文章:)实现大数据提取有用数据,简化内存、提高效率。不细讲。

3、Incremental learning:

all estimators implementing thepartial_fitAPI are candidates。

the ability to learn incrementally from a mini-batch of instances (sometimes called “online learning”) is key to out-of-core learning as it guarantees that at any given time there will be only a small amount of instances in the main memory。

所有实现partial_fitAPI 的estimators都可以实现增量学习,包括:

ClassificationRegressionClusteringDecomposition / feature Extraction

注意:对于分类问题,由于incremental learner可能不知道所有的classes有哪些,,所以第一次调用partial_fit时,最好人工设定参数classes=,指明所有类别。

4、Examples:

a example ofOut-of-core classification of text documents. 通过例子可以更好理解上面的内容。

版权声明:本文为博主原创文章,未经博主允许不得转载。

幸运并非没有恐惧和烦恼;厄运并非没有安慰与希望。

learn:6. Strategies to scale computationally: bigger data

相关文章:

你感兴趣的文章:

标签云: