nlp - 如何使用 HuggingFace 将中文翻译成英文？

Question

我想使用 HuggingFace 的转换器使用预训练的 "xlm-mlm-xnli15-1024" 将中文翻译成英文模型。 This tutorial显示如何从英语到德语。
我尝试按照教程进行操作，但它没有详细说明如何手动更改语言或解码结果。我不知道从哪里开始。抱歉，这个问题不能更具体。
这是我尝试过的:

from transformers import AutoModelWithLMHead, AutoTokenizer
base_model = "xlm-mlm-xnli15-1024"
model = AutoModelWithLMHead.from_pretrained(base_model)
tokenizer = AutoTokenizer.from_pretrained(base_model)

inputs = tokenizer.encode("translate English to Chinese: Hugging Face is a technology company based in New York and Paris", return_tensors="pt")
outputs = model.generate(inputs, max_length=40, num_beams=4, early_stopping=True)

print(tokenizer.decode(outputs.tolist()[0]))

'<s>translate english to chinese : hugging face is a technology company based in new york and paris </s>china hug ™ ™ ™ ™ ™ ™ ™ ™ ™ ™ ™ ™ ™ ™ ™ ™ ™'

Answer 1

您提到的型号是xlm-mlm-xnli15-1024可用于翻译，但不能以您提供的链接中显示的方式使用。
该链接特定于 T5 型号。使用 XLM 模型，您只提供源语句，但需要添加语言嵌入。在 tutorial for multilingual models 中有解释.另请注意，此 XLM 模型主要用于为下游任务提供跨语言表示，因此您不能期望非常好的翻译质量。