python-3.x - 在本地下载预训练的 BERT 模型

标签 python-3.x word-embedding

我正在使用 SentenceTransformers 库(此处: https://pypi.org/project/sentence-transformers/#pretrained-models )使用预训练模型 bert-base-nli-mean-tokens 创建句子的嵌入。我有一个应用程序将部署到无法访问 Internet 的设备上。如何在本地保存此模型,以便在调用它时在本地加载模型,而不是尝试从 Internet 下载?正如库维护者所明确的那样, SentenceTransformer 方法从互联网下载模型(参见此处: https://pypi.org/project/sentence-transformers/#pretrained-models ),我找不到在本地保存模型的方法。

最佳答案

Hugging face usage
您可以使用 Hugging Face 更改器(mutator)库方法将模型下载到本地。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
model = AutoModel.from_pretrained("sentence-transformers/bert-base-nli-mean-tokens")
tokenizer.save_pretrained('./local_directory/')
model.save_pretrained('./local_directory/')

关于python-3.x - 在本地下载预训练的 BERT 模型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63002081/

相关文章:

python - 使用词嵌入进行分类

python - 使用 pyad 确定用户帐户状态

python - 如何从 asyncio 中的信号处理程序捕获自定义异常?

python - 使用 T5 的句子嵌入

TensorFlow 梯度 : Getting unnecessary 0. tf.gradients 的 0 个梯度

python - DeepPavlov elmo 太慢了

python - 使用递归在python中获取子字符串

python 3 : module in same directory as script: "ImportError: No module named"

Python 将嵌套的 JSON 转换为 CSV

python - tf.train.range_input_producer(epoch_size, shuffle=True) 不会终止也不会引起 CPU/GPU 负载