我正在使用 SentenceTransformers 库(此处: https://pypi.org/project/sentence-transformers/#pretrained-models )使用预训练模型 bert-base-nli-mean-tokens
创建句子的嵌入。我有一个应用程序将部署到无法访问 Internet 的设备上。如何在本地保存此模型,以便在调用它时在本地加载模型,而不是尝试从 Internet 下载?正如库维护者所明确的那样, SentenceTransformer
方法从互联网下载模型(参见此处: https://pypi.org/project/sentence-transformers/#pretrained-models ),我找不到在本地保存模型的方法。
最佳答案
Hugging face usage
您可以使用 Hugging Face 更改器(mutator)库方法将模型下载到本地。
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
model = AutoModel.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
tokenizer.save_pretrained('./local_directory/')
model.save_pretrained('./local_directory/')
关于python-3.x - 在本地下载预训练的 BERT 模型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63002081/