python - 反向传播时深度学习的问题。 (Python)

标签 python neural-network deep-learning

似乎无法解决这个简单的 2 层网络的问题。前向过程似乎没有错误,但是,我无法弄清楚如何计算 w1、w2 和 b1 的成本,它们是第一层的权重和偏差。

//forward

z1 = point[0]*w1 + point[1]*w2 +  b1
z2 = sigmoid(z1)*w3 + b2
pred = sigmoid(z2)


//backward

z2_d_cost = 2 * (pred-target)
z2_d_pred = sigmoid_p(z2)
z2_cost_pred = z2_d_cost * z2_d_pred

w3 = w3 - z2*lrate*z2_cost_pred
b2 = b2 - lrate*z2_cost_pred

z1_d_pred = sigmoid_p(z1) * z2_cost_pred * w3

w1 = w1 - point[0]*lrate*z1_d_pred
w2 = w2 - point[1]*lrate*z1_d_pred
b1 = b1 - lrate*z1_d_pred

最佳答案

Nvm 想通了。简单的错误,应该是 w3 = w3 - z1*lrate*z2_cost_pred

关于python - 反向传播时深度学习的问题。 (Python),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53998774/

相关文章:

machine-learning - 使用keras训练多类nn时,loss无法进一步往下走,可能是什么原因

machine-learning - 将 TensorFlow LSTM 转换为 synapticjs

matlab - 在 Matlab 上运行 Faster R-CNN 时出现 CUDA_ERROR_ILLEGAL_ADDRESS

python - 我的ROC曲线的一个区域位于随机线下方,如何修改混淆矩阵?

python - "dest_directory = FLAGS.model_dir"是什么意思?

python - 运行 Heroku Django 教程时出现的问题

python - 如何在 ubuntu 上安装 python 模块 sys、os 和 getopt?

python - Seaborn clustermap : what's the main argument, 观测值或距离?

python - 在当前 shell 中停用 pyenv

neural-network - 如何设计深度卷积神经网络?