machine-learning - 神经网络对于输入过于敏感

Question

我有以下两个特征向量:

    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000
    0.2567    0.2567
    0.0105    0.0105
    0.0000   -0.0000
   -0.0000    0.0000
    0.0000    0.0000

让我们将第一个称为 A ，将第二个称为 B 。 A 用于学习神经网络，如果您再次将其应用到神经网络，它将给出以下输出:

 1.0000
    0.0000
   -0.0000

但是如果您应用特征向量B，则以下输出将给出:

-0.2475
    1.0524
    0.5106

这种形式的结果有何不同!特征向量相同(除了零处，零的符号不同)

Answer 1

任何模型都可以在这两个实例上进行类似的操作。您的问题非常广泛，因此我仅列出您应该考虑的一些事项。

1. 数据标准化和缩放

申请 feature scaling 可能会有更好的运气或mean normalization您的数据。

检测过度拟合

使用cross validation的方法(通常使用 10 折交叉验证)来检测您是否过度拟合:如果训练折叠的准确度远高于测试折叠的准确度，那么您就过度拟合了训练数据。

交叉验证还可用于调整模型参数以获得最佳性能:只需在每次调整后重新运行交叉验证过程即可。

解决过度拟合

使用正则化通常可以解决过度拟合问题。您可以使用多种方法进行正则化，因此您应该进行一些搜索。

获取更多数据不太可能正确解决问题，而且通常不值得花时间。如果可以的话就这样做，但这并不是解决过度拟合问题的 Elixir 。