如果训练涉及小批量，谁能给我一些关于加速多层人工神经网络训练过程的可能技术的想法？
到目前为止，我知道随机训练可能会导致更快的收敛，但是，如果我们必须使用小批量训练，有什么方法可以使收敛更快吗？
(相关论文的一些提示也会有所帮助!)
谢谢!
最佳答案
就一般技巧而言，您可能希望在编写神经网络时使用 GPU；它们极大地提高了速度和性能。请参阅http://web.stanford.edu/~acoates/papers/CoatesHuvalWangWuNgCatanzaro_icml2013.pdf
就机器学习而言，更好的权重初始化可以带来更快的收敛。实现此目的的一种方法是无监督特征学习。请参阅http://web.stanford.edu/~acoates/papers/CoatesLeeNg_nips2010_dlwkshp_singlelayer.pdf
关于machine-learning - 使用小批量训练时如何加快神经网络的训练速度？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24556833/