我一直在使用以下代码在 Adam() 优化器中为我的 trainable_model 打印 lr_tlearning_rate。
if(np.random.uniform()*100 < 3 and self.training):
model = self.trainable_model
_lr = tf.to_float(model.optimizer.lr, name='ToFloat')
_decay = tf.to_float(model.optimizer.decay, name='ToFloat')
_beta1 = tf.to_float(model.optimizer.beta_1, name='ToFloat')
_beta2 = tf.to_float(model.optimizer.beta_2, name='ToFloat')
_iterations = tf.to_float(model.optimizer.iterations, name='ToFloat')
t = K.cast(_iterations, K.floatx()) + 1
_lr_t = lr * (K.sqrt(1. - K.pow(_beta2, t)) / (1. - K.pow(_beta1, t)))
print(" - LR_T: "+str(K.eval(_lr_t)))
我不明白的是这个学习率会增加。 (衰减默认值为 0)。
如果我们查看 Adam 中的learning_rate 方程,我们会发现:
lr_t = lr * (K.sqrt(1. - K.pow(self.beta_2, t)) /
(1. - K.pow(self.beta_1, t)))
对应于等式(参数默认值):
= 0.001*sqrt(1-0.999^x)/(1-0.99^x)
这清楚地表明,learning_rate 随着时间的推移呈指数增长(因为 t 从 1 开始)
有人可以解释为什么会出现这种情况吗?我到处都读到我们应该使用随时间衰减而不是增加的learning_rate。
这是否意味着随着 Adam 学习率的增加,我的神经网络会随着时间的推移进行更大的更新?
最佳答案
查看 Keras 中 Adam 优化器的源代码,看起来实际的“衰减”是在: this line 处执行的。 。您报告的代码仅在衰减之后执行,而不是衰减本身。
如果问题是“为什么会这样”,我建议你阅读一些关于 Adam 的理论,例如 the original paper .
编辑
应该清楚的是,Adam 优化器的更新方程并不
包括自身的衰变。衰减应单独应用。
关于machine-learning - 为什么 Adam 的学习率会增加?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56440068/