我有两种多重线性回归的实现,一种使用 tensorflow
,一种仅使用 numpy
。我生成了一组虚拟数据,并尝试恢复我使用的权重,但是尽管 numpy 返回初始权重,但tensorflow 总是返回不同的权重(其中也是一种工作)
numpy
实现是 here ,这是 TF 实现:
import numpy as np
import tensorflow as tf
x = np.array([[i, i + 10] for i in range(100)]).astype(np.float32)
y = np.array([i * 0.4 + j * 0.9 + 1 for i, j in x]).astype(np.float32)
# Add bias
x = np.hstack((x, np.ones((x.shape[0], 1)))).astype(np.float32)
# Create variable for weights
n_features = x.shape[1]
np.random.rand(n_features)
w = tf.Variable(tf.random_normal([n_features, 1]))
w = tf.Print(w, [w])
# Loss function
y_hat = tf.matmul(x, w)
loss = tf.reduce_mean(tf.square(tf.sub(y, y_hat)))
operation = tf.train.GradientDescentOptimizer(learning_rate=0.000001).minimize(loss)
with tf.Session() as session:
session.run(tf.initialize_all_variables())
for iteration in range(5000):
session.run(operation)
weights = w.eval()
print(weights)
运行脚本使我的权重约为[-0.481, 1.403, 0.701]
,而运行numpy
版本使我的权重约为[0.392, 0.907, 0.9288]
,它更接近我用来生成数据的权重:[0.4, 0.9, 1]
两个学习率/时期参数相同,并且都随机初始化权重。我没有对这两种实现的数据进行标准化,并且我已经多次运行它们。
为什么结果不同?我还尝试使用 w = tf.Variable(np.random.rand(n_features).reshape(n_features,1).astype(np.float32))
初始化 TF 版本中的权重,但这并没有也不修它。 TF 实现有问题吗?
最佳答案
问题似乎出在广播上。上面y_hat
的形状是(100,1)
,而y
是(100,)
。因此,当您执行 tf.sub(y, y_hat)
时,您最终会得到一个 (100,100)
矩阵,它是两个向量之间减法的所有可能组合。我不知道,但我猜你在 numpy 代码中设法避免了这种情况。
修复代码的两种方法:
y = np.array([[i * 0.4 + j * 0.9 + 1 for i, j in x]]).astype(np.float32).T
或
y_hat = tf.squeeze(tf.matmul(x, w))
尽管如此,当我运行它时,它实际上仍然没有收敛到你想要的答案,但至少它实际上能够最小化损失函数。
关于python - 为什么使用 TensorFlow 进行多元线性回归时会得到不同的权重?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39515518/