numpy - 亚马逊 EC2 与 PiCloud

Question

<分区>

Answer 1

这取决于您要解决的机器学习问题的性质。我建议您首先将您的数据集子采样到适合内存的东西(例如，假设稀疏表示，每个样本有几百个非零特征的 100k 个样本)。

然后在 scikit-learn 中尝试一些可扩展到大量样本的机器学习算法:

• SGDClassifier 或 MultinomialNB，如果您想进行监督分类(如果您在数据集中有要预测的分类标签)
• SGDRegressor 如果你想做监督回归(如果你有连续的目标变量来预测)
• MiniBatchKMeans 聚类进行无监督聚类(但默认情况下没有客观的方法来量化所得聚类的质量)。
• ...

执行网格搜索以找到模型超参数的最佳值(例如正则化器 alpha 和 SGDClassifier 的传递次数 n_iter)并使用评估性能交叉验证。

完成后，使用 2 倍大的数据集(仍适合内存)重试，看看它是否能显着提高您的预测准确性。如果不是这种情况，那么不要浪费时间尝试在集群上并行化它以在完整数据集上运行它，因为它不会产生任何更好的结果。

如果它做了你能做的，将数据分成几部分，然后在每个节点上切片数据，使用 picloud 独立学习每个节点上的 SGDClassifier 或 SGDRegressor 模型并收集权重(coef_ 和 intercept_)，然后计算平均权重以构建最终的线性模型，并在数据集的某些保留切片上对其进行评估。

了解更多错误分析。查看如何绘制学习曲线:

• http://digitheadslabnotebook.blogspot.fr/2011/12/practical-advice-for-applying-machine.html
• https://gist.github.com/1540431
• http://jakevdp.github.com/tutorial/astronomy/practical.html#bias-variance-over-fitting-and-under-fitting