machine-learning - 学习率、损失和批量大小

标签 machine-learning optimization loss batchsize learning-rate

损失是否取决于学习率和批量大小。例如,如果我保持批量大小为 4,学习率为 0.002,那么损失不会收敛,但如果将批量大小更改为 32,保持学习率相同,我会得到一条收敛的损失曲线。这样可以吗?

最佳答案

我想说,损失很大程度上取决于您在训练中使用的参数。另一方面,我不会将其称为数学函数的依赖关系,而是关系。

如果您的网络无法学习,您需要调整参数(架构、学习率、批量大小等)。

很难对您的问题给出更具体的答案。哪些参数合适取决于问题。但是,如果它收敛并且您可以验证您的解决方案,我会说您没问题。

关于machine-learning - 学习率、损失和批量大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59982770/

相关文章:

optimization - 如何提高 MiniZinc 中图形着色模型的性能?

python - 优化pytorch中的多个损失函数

python - 在 keras 中绘制学习曲线给出 KeyError : 'val_acc'

mysql - 如何优化服务器中的 SQL?

r - lin 的留一法 CV 实现。回归

128GB内存专用服务器的MYSQL对4000万条记录表的大量更新需要很长时间

python - Keras 损失一直很低,但准确性开始很高然后下降

tensorflow - Tensorflow 中的高斯对数似然损失函数

machine-learning - 降低图像检索任务模型全连接层的维数

python - 谷歌云机器学习引擎: Create model version failed