nlp - 拥抱脸 pytorch 变压器 : how to initialize embeddings with certain values?

Question

我正在微调来自 huggingface 的 bert 模型.有没有办法手动设置某个词块的初始嵌入？例如使单词“dog”的初始嵌入等于 torch.ones(768) .谢谢!

Answer 1

您可以设置 BertModel 的输入嵌入:get_input_embeddings()

您需要知道词汇表中的词片索引，并且可以更改嵌入矩阵中的相应行。