我假设每层的梯度都是 0.1。图层的绘制/堆栈网络的梯度可以通过累积梯度来计算:
在ResNet中，梯度是通过跳跃连接来传播的。那么，如何才能实现如上图所示的x的渐变效果呢？是0.1x0.1+0.1还是0.1？
最佳答案
上图中添加了梯度计算。梯度delta_x是传入梯度delta_y的总和以及梯度delta_y和delta_F的乘积。
所以在你的例子中，它应该是0.1x0.1x0.1+0.1。
但请注意，在 delta_F 的实际计算中，delta_y 乘以 weight_1 并获得通过/阻止 code> 取决于 ReLu 是否处于事件状态，然后乘以 weights_2。
关于machine-learning - ResNet架构中如何计算梯度？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44512126/