我有网络。在一个地方我想使用 concat。就像这张照片上的那样。
不幸的是,网络无法训练。为了理解为什么我想连续改变权重。这意味着 FC4096 中的所有值一开始都将变为 1,而 FC16000 中的所有值都将变为 0。
我知道 FC4096 的准确度为 57%,因此学习率为 10^-6 时我就会明白为什么在串联层之后没有学习。
问题是,如何将 FC4096 中的所有值设置为 1,将 FC16000 中的所有值设置为 0?
最佳答案
您可以添加 "Scale"
层位于 FC16000
之上并将其初始化为 0:
layer {
name: "scale16000"
type: "Scale"
bottom: "fc16000"
top: "fc16000" # not 100% sure this layer can work in-place, worth trying though.
scale_param {
bias_term: false
filler: { type: "constant" value: 0 }
}
param { lr_mult: 0 decay_mult: 0 } # set mult to non zero if you want to train this scale
}
关于machine-learning - Caffe,在层中设置自定义权重,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44761118/