我有一个以前从未见过的非线性回归算法的想法:
我们使用梯度下降将一个简单的参数函数(例如径向基函数)拟合到数据中。我们从中找到残差，然后对其拟合一个函数，重复此过程以减少误差并构建叠加函数的集合。 (我假设可以说服搜索首先找到最适合点的函数)
正如所提出的，该算法会过度拟合。我认为有几种方法可以克服这个问题，但最明显的可能是限制安装的功能数量。
我认为它应该比神经网络或 RBF 网络更快，因为它不必一次调整这么多参数。没有可供选择的网络架构。它应该比 M5 等决策树算法更准确，因为它可以更紧密地遵循连续曲线，并且不必选择要分割的属性。
以前尝试过吗？如果是这样，为什么没有成功？
最佳答案
通过修复步骤 1..n 中拟合的函数参数，同时拟合函数 n+1 的参数，您很可能会发现更糟糕的拟合(如例如，由均方误差定义)，而不是同时拟合所有 n+1 函数。因此，与同时让所有 n+1 函数“ float ”相比，您可能需要更多函数来实现与您的提案相同的均方误差。
为了防止过度拟合，您应该使用类似 Cross Validation 的内容，例如一旦拟合中未使用的测试样本的均方误差停止减少，就停止添加函数。
关于algorithm - 这个回归算法是否原创且有效？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3980348/