neural-network - 如何防止收敛到CNN回归问题的均值解?

标签 neural-network deep-learning caffe torch

我正在训练一个 CNN 来预测手上的关节。问题是我的网络总是收敛到训练集的均值,对于不同的测试图像我只能得到相同的结果。你知道如何防止这种情况吗?

最佳答案

我想你一定在使用 MSECriterion() ?它是标准的 l2(最小平方误差)损失。虽然 CNN 试图预测结果,但有多种模式可以使结果正确。而 l2 loss 的作用是收敛到所有这些模式的平均值,因为这是它可以直观地获得惩罚较少的结果的最可行的方法。

The MSE-based solution appears overly smooth due to the pixel-wise average of possible solutions in the pixel space



要选择最佳答案模式,您可以查看 adversarial loss LINK .这种损失根据它所看到的数据认为是现实的来选择最佳模式。

如需进一步说明,请查看本文中的图 3:SRGAN

关于neural-network - 如何防止收敛到CNN回归问题的均值解?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43336472/

相关文章:

python - 检查目标 : expected activation_2 to have shape (512, 时出错,但得到形状为 (1,) 的数组

machine-learning - 对于倾斜特征最合适的归一化/转换方法?

python - theano 扫描函数缺少输入错误

machine-learning - Tensorflow:损失变为 'NaN'

ubuntu - caffe/include/caffe/util/device_alternate.hpp :35:23: fatal error: cublas_v2. h:没有这样的文件或目录

machine-learning - 使用caffe从图像回归年龄时如何设计损失层

python - 对数似然成本函数 : mean or sum?

r - 我的神经网络分类器报告 "Unexpected CURL error"

python - 拟合模型时,batch size 和 epoch 的数量应该有多大?

deep-learning - 解决Caffe中不平衡的类成员: weight contribution of each instance to loss value