我正在尝试在 Torch 中实现一个简单的神经网络以了解更多信息。我创建了一个非常简单的数据集:从 0 到 15 的二进制数字,我的目标是将数字分为两类 - 第 1 类是数字 0-3 和 12-15,第 2 类是其余的数字。以下代码是我现在的代码(我仅删除了数据加载例程):
require 'torch'
require 'nn'
data = torch.Tensor( 16, 4 )
class = torch.Tensor( 16, 1 )
network = nn.Sequential()
network:add( nn.Linear( 4, 8 ) )
network:add( nn.ReLU() )
network:add( nn.Linear( 8, 2 ) )
network:add( nn.LogSoftMax() )
criterion = nn.ClassNLLCriterion()
for i = 1, 300 do
prediction = network:forward( data )
--print( "prediction: " .. tostring( prediction ) )
--print( "class: " .. tostring( class ) )
loss = criterion:forward( prediction, class )
network:zeroGradParameters()
grad = criterion:backward( prediction, class )
network:backward( data, grad )
network:updateParameters( 0.1 )
end
这就是数据和类张量的样子:
0 0 0 0
0 0 0 1
0 0 1 0
0 0 1 1
0 1 0 0
0 1 0 1
0 1 1 0
0 1 1 1
1 0 0 0
1 0 0 1
1 0 1 0
1 0 1 1
1 1 0 0
1 1 0 1
1 1 1 0
1 1 1 1
[torch.DoubleTensor of size 16x4]
2
2
2
2
1
1
1
1
1
1
1
1
2
2
2
2
[torch.DoubleTensor of size 16x1]
这正是我所期望的。但是,当运行此代码时,我在行 loss = criteria:forward( Prediction, class ) 上收到以下错误:
torch/install/share/lua/5.1/nn/ClassNLLCriterion.lua:69: attempt to perform arithmetic on a nil value
当我像这样修改训练例程(一次处理一个数据点,而不是批量处理所有 16 个数据点)时,它会起作用,并且网络成功学习识别这两个类:
for k = 1, 300 do
for i = 1, 16 do
prediction = network:forward( data[i] )
--print( "prediction: " .. tostring( prediction ) )
--print( "class: " .. tostring( class ) )
loss = criterion:forward( prediction, class[i] )
network:zeroGradParameters()
grad = criterion:backward( prediction, class[i] )
network:backward( data[i], grad )
network:updateParameters( 0.1 )
end
end
我不确定我正在尝试执行的“批处理”可能有什么问题。简要查看 ClassNLLCriterion 并没有帮助,似乎我给了它预期的输入(见下文),但它仍然失败。它接收到的输入(预测和类张量)如下所示:
-0.9008 -0.5213
-0.8591 -0.5508
-0.9107 -0.5146
-0.8002 -0.5965
-0.9244 -0.5055
-0.8581 -0.5516
-0.9174 -0.5101
-0.8040 -0.5934
-0.9509 -0.4884
-0.8409 -0.5644
-0.8922 -0.5272
-0.7737 -0.6186
-0.9422 -0.4939
-0.8405 -0.5648
-0.9012 -0.5210
-0.7820 -0.6116
[torch.DoubleTensor of size 16x2]
2
2
2
2
1
1
1
1
1
1
1
1
2
2
2
2
[torch.DoubleTensor of size 16x1]
有人可以帮我吗?谢谢。
最佳答案
经验表明,nn.ClassNLLCriterion
期望目标是大小为 batch_size
的一维张量或标量>。您的 class
是 2D 的 (batch_size x 1
),但 class[i]
是 1D,这就是您的非批处理版本起作用的原因。
所以,这将解决您的问题:
class = class:view(-1)
或者,您可以替换
network:add( nn.LogSoftMax() )
criterion = nn.ClassNLLCriterion()
等效的:
criterion = nn.CrossEntropyCriterion()
有趣的是,nn.CrossEntropyCriterion
还能够采用2D 张量。为什么 nn.ClassNLLCriterion
不是?
关于lua - 使用 ClassNLCriterion 在 Torch 中进行批处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32563651/