我已经实现了以下 Batch Gradient descednt 算法,基于我能够在网络和讲义中找到的各种来源。
这个实现在停止标准方面并不理想,但对于我的示例来说它应该可以工作。
输入:
x = [1,1;1,2;1,3;1,4;1,5];
y = [1;2;3;4;5];
theta = [0;0];
代码:
tempTheta = [0;0];
for c = 1:10000,
for j = 1:2,
sum = 0;
for i = 1:5,
sum = sum + ((dot(theta', x(i, :)) - y(j)) * x(i,j));
end
sum = (sum / 5) * 0.01;
tempTheta(j) = theta(j) - sum;
end
theta = tempTheta;
end
预期结果是 theta = [0;1]
,但我的实现总是返回 theta = [-3.5, 1.5]
。
我尝试了 alpha 和起点的各种组合,但没有成功。我哪里出错了?
最佳答案
在这一行
sum = sum + ((dot(theta', x(i, :)) - y(j)) * x(i,j));
你使用了错误的 y
索引,它应该是 y(i)
,因为 j
是一个维度迭代器,而不是示例迭代器。
改变之后
theta =
-1.5168e-07
1.0000e+00
关于algorithm - 梯度下降不会返回线性函数的错误预测,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18377718/