python - 我的神经网络实现有什么问题？

Question

我想绘制神经网络相对于训练示例数量的学习误差曲线。这是代码:

import sklearn
import numpy as np
from sklearn.model_selection import learning_curve
import matplotlib.pyplot as plt
from sklearn import neural_network
from sklearn import cross_validation

myList=[]
myList2=[]
w=[]

dataset=np.loadtxt("data", delimiter=",")
X=dataset[:, 0:6]
Y=dataset[:,6]
clf=sklearn.neural_network.MLPClassifier(hidden_layer_sizes=(2,3),activation='tanh')

# split the data between training and testing
X_train, X_test, Y_train, Y_test = cross_validation.train_test_split(X, Y, test_size=0.25, random_state=33)

# begin with few training datas
X_eff=X_train[0:int(len(X_train)/150), : ]
Y_eff=Y_train[0:int(len(Y_train)/150)]

k=int(len(X_train)/150)-1


for m in range (140) :


    print (m)

    w.append(k)

    # train the model and store the training error
    A=clf.fit(X_eff,Y_eff)
    myList.append(1-A.score(X_eff,Y_eff))

      # compute the testing error
    myList2.append(1-A.score(X_test,Y_test))

    # add some more training datas
    X_eff=np.vstack((X_eff,X_train[k+1:k+101,:]))
    Y_eff=np.hstack((Y_eff,Y_train[k+1:k+101]))
    k=k+100

plt.figure(figsize=(8, 8))
plt.subplots_adjust()
plt.title("Erreur d'entrainement et de test")
plt.plot(w,myList,label="training error")
plt.plot(w,myList2,label="test error")
plt.legend()
plt.show()

但是，我得到了一个非常奇怪的结果，曲线波动，训练误差非常接近测试误差，这似乎不正常。 错误在哪里？我不明白为什么会有这么多起伏，为什么训练错误没有像预期的那样增加。任何帮助将不胜感激!

编辑:我使用的数据集是 https://archive.ics.uci.edu/ml/datasets/Chess+%28King-Rook+vs.+King%29我摆脱了少于 1000 个实例的类。我手动重新编码了乱码数据。

Answer 1

我认为您看到这种曲线的原因是您测量的性能指标与您优化的性能指标不同。

优化指标

神经网络最小化损失函数，在 tanh 激活的情况下，我假设您使用的是交叉熵损失的修改版本。如果您要绘制随时间变化的损失，您会看到一个更单调递减的误差函数，如您所料。 (实际上并不是单调的，因为神经网络是非凸的，但这不是重点。)

性能指标

您测量的性能指标是准确度百分比，它不同于损失。为什么这些不同？损失函数以可微分的方式告诉我们有多少误差(这对于快速优化方法很重要)。准确度指标告诉我们预测的好坏，这对于神经网络的应用很有用。

把它放在一起

因为您正在绘制相关指标的性能，您可以预期该图看起来与您的优化指标相似。但是，由于它们不相同，您可能会在您的情节中引入一些无法解释的差异(正如您发布的情节所证明的那样)。

有几种方法可以解决此问题。

1. 绘制损失而不是准确度。如果您确实需要准确度图，这实际上并不能解决您的问题，但它会为您提供更平滑的曲线。
2. 绘制多次运行的平均值。保存算法的 20 次独立运行的准确度图(如训练网络 20 次)，然后将它们平均在一起并绘制它。这将大大减少方差。

TL;DR

不要期望准确度图总是平滑且单调递减，它不会。

---

问题编辑后:

现在您已经添加了数据集，我看到了其他一些可能导致您遇到的问题的事情。

量级信息

数据集定义了几个棋子的等级和文件(行和列)。这些是作为从 1 到 6 的整数输入的。但是 2 真的 1 比 1 好吗？ 6真的4比2好吗？就棋位而言，我认为情况并非如此。

想象一下，我正在构建一个以金钱为输入的分类器。我的值(value)观是否刻画了一些信息？是的，1 美元与 100 美元完全不同；我们可以根据大小判断出存在关系。

对于国际象棋游戏，第 1 行的含义是否与第 8 行不同？一点也不，事实上这些尺寸是对称的!在您的网络中使用偏置单元可以通过“重新调整”您的输入以有效地从 [-3, 4] (现在以 0 为中心(ish)左右)来帮助解释对称性。

解决方案

但是，我认为，您可以通过平铺编码或一次性编码您的每个功能获得最大的 yield 。不要让网络依赖于每个特征的量级中包含的信息，因为这可能会导致网络进入糟糕的局部最优状态。