machine-learning - 回归问题的降维/降噪技术

Question

回归问题中的降维技术有哪些？我尝试过我所知道的唯一无监督技术，PCA 和 Kernel PCA(使用 scikit learn 库)，但我还没有看到使用这些技术有任何改进。也许这些只适合分类问题？我还可以尝试哪些其他技巧？最好是在 sklearn 中实现的。

Answer 1

这是一个非常普遍的问题，技术(或它们的组合)的适用性实际上取决于您的问题细节。

一般来说，降维有几种类别(除了您提到的那些之外。

1. 也许最简单的降维形式是仅使用某些特征，在这种情况下，我们真正讨论的是特征选择(请参阅 sklearn's module )。

2. 另一种方法是集群 ( sklearn's )，并用其组件的聚合来替换每个集群。

3. 最后，一些回归器使用 l1 惩罚和凸优化的属性来同时选择特征子集；在 sklearn 中，请参阅 the lasso and elastic net .

这又是一个非常广泛的问题。甚至还有关于特征选择的整本书和竞赛，这是降维的一个子集。