我正在尝试进行 seq2seq 预测。为此,我有一个 LSTM 层,然后是一个完全连接的层。我在培训阶段采用教师培训,并想在测试阶段跳过这个(我在这里可能错了)。我还没有找到直接的方法,所以我采用了如下所示的方法。
def forward(self, inputs, future=0, teacher_force_ratio=0.2, target=None):
outputs = []
for idx in range(future):
rnn_out, _ = self.rnn(inputs)
output = self.fc1(rnn_out)
if self.teacher_training:
new_input = output if np.random.random() >= teacher_force_ratio else target[idx]
else:
new_input = output
inputs = new_input
我使用 bool
变量 teacher_training
来检查是否需要教师培训。这个对吗?如果是,是否有更好的方法来做到这一点?谢谢。
最佳答案
在 PyTorch 中,所有扩展 nn.Module
的类都有一个名为 training
的 kwarg bool 参数。因此,我们应该简单地使用 training
参数而不是 teacher_training
。此参数会根据您的模型训练模式(model.train()
和 model.eval()
)自动设置。
关于python-3.x - 教师力量训练 PyTorch,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64703326/