machine-learning - Adam 方法的学习率好吗？

Question

我正在训练我的方法。我得到的结果如下。这是一个好的学习率吗？如果不是，是高还是低？ 这是我的结果

lr_policy: "step"
gamma: 0.1
stepsize: 10000
power: 0.75
# lr for unnormalized softmax
base_lr: 0.001
# high momentum
momentum: 0.99
# no gradient accumulation
iter_size: 1
max_iter: 100000
weight_decay: 0.0005
snapshot: 4000
snapshot_prefix: "snapshot/train"
type:"Adam"

这是引用

With low learning rates the improvements will be linear. With high learning rates they will start to look more exponential. Higher learning rates will decay the loss faster, but they get stuck at worse values of loss

Answer 1

学习率看起来有点高。根据我的口味，曲线下降得太快并且很快就变平。如果我想获得额外的性能，我会尝试 0.0005 或 0.0001 作为基本学习率。如果您发现这不起作用，您可以在几个时期后退出。

您必须问自己的问题是您需要多少性能以及您距离实现所需性能有多近。我的意思是，您可能正在为特定目的训练神经网络。通常，您可以通过增加网络容量来获得更多性能，而不是微调学习率，即使不完美，也已经相当不错了。