背景
我有一个非常简单的脚本,可以创建一个设计为类似于异或门的 keras 模型。
我在 get_data
函数中生成了 40000 个数据点。它创建两个数组;一个按某种顺序包含 1 和 0 的输入数组,以及一个 1 或 0 的输出。
问题
当我运行代码时,它似乎没有学习,并且每次训练时得到的结果都有很大差异。
代码
from keras import models
from keras import layers
import numpy as np
from random import randint
def get_output(a, b): return 0 if a == b else 1
def get_data ():
data = []
targets = []
for _ in range(40010):
a, b = randint(0, 1), randint(0, 1)
targets.append(get_output(a, b))
data.append([a, b])
return data, targets
data, targets = get_data()
data = np.array(data).astype("float32")
targets = np.array(targets).astype("float32")
test_x = data[40000:]
test_y = targets[40000:]
train_x = data[:40000]
train_y = targets[:40000]
model = models.Sequential()
# input
model.add(layers.Dense(2, activation='relu', input_shape=(2,)))
# hidden
# model.add(layers.Dropout(0.3, noise_shape=None, seed=None))
model.add(layers.Dense(2, activation='relu'))
# model.add(layers.Dropout(0.2, noise_shape=None, seed=None))
model.add(layers.Dense(2, activation='relu'))
# output
model.add(layers.Dense(1, activation='sigmoid')) # sigmoid puts between 0 and 1
model.summary() # print out summary of model
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
res = model.fit(train_x, train_y, epochs=2000, batch_size=200, validation_data=(test_x, test_y)) # train
print 'predict: \n', test_x
print model.predict(test_x)
输出
[[0. 1.]
[1. 1.]
[1. 1.]
[0. 0.]
[1. 0.]
[0. 0.]
[0. 0.]
[0. 1.]
[1. 1.]
[1. 0.]]
[[0.6629775 ]
[0.00603844]
[0.00603844]
[0.6629775 ]
[0.6629775 ]
[0.6629775 ]
[0.6629775 ]
[0.6629775 ]
[0.00603844]
[0.6629775 ]]
即使没有 dropout 层,我也得到了非常相似的结果。
最佳答案
您的问题有几个问题。
首先,您的导入相当不正统(与您的问题无关,确实如此,但它有助于遵守一些约定):
from keras.models import Sequential
from keras.layers import Dense
import numpy as np
其次,您不需要数千个 XOR 问题的示例;只有四种组合:
X = np.array([[0,0],[0,1],[1,0],[1,1]])
y = np.array([[0],[1],[1],[0]])
仅此而已。
第三,出于同样的原因,您实际上无法通过 XOR 获得“验证”或“测试”数据;在最简单的方法中(即您可以说在这里尝试做的事情),您只能使用这 4 种组合来测试模型学习该函数的程度(因为没有更多了!)。
第四,您应该从一个简单的单隐藏层模型开始(稍微多于 2 个单元且没有 dropout),然后逐渐进行如果需要:
model = Sequential()
model.add(Dense(8, activation="relu", input_dim=2))
model.add(Dense(1, activation="sigmoid"))
model.compile(loss='binary_crossentropy', optimizer='adam')
model.fit(X, y, batch_size=1, epochs=1000)
这应该会将您的损失降至约 0.12;它对这个功能的学习效果如何?
model.predict(X)
# result:
array([[0.31054294],
[0.9702552 ],
[0.93392825],
[0.04611744]], dtype=float32)
y
# result:
array([[0],
[1],
[1],
[0]])
这够好吗?好吧,我不知道 - 正确的答案始终是“这取决于”!但你现在有了一个起点(即一个可以学习一些东西的网络),你可以从中进行进一步的实验......
关于python - 模型不学习,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53177605/