machine-learning - 虚拟批量标准化和批量标准化有什么区别？

Question

我知道什么是批量标准化，但我不太明白如何进行虚拟批量标准化。如何选择引用样本？

Answer 1

区别在于，前者的每个批处理 x 是根据在一次选择并在训练开始时固定的示例引用批处理上收集的统计数据进行归一化的，但在后者中，批处理本身是归一化的。后者受到每个小批量内样本相互依赖性的影响。

我觉得这就像locally weighted linear regression中如何选择查询点一样。您只需根据您的经验选择一个即可。

事实上，demo in the official repository当他们开始训练时只使用第一批。

if not hasattr(self, name):
    vbn = VBN_cls(tensor, name, half=half)
    setattr(self, name, vbn)
    return vbn.reference_output

如果在整个训练过程中保持不变，您可以选择任何批处理作为引用批处理。