添加 BERT 作为子模块后，无法使用，配置文件中缺少版本信息。这些是主要步骤:
1- 我使用 git submodule add https://huggingface.co/bert-base-multilingual-uncased 命令将其作为子模块添加到我的存储库中
2- 我把它放在一个目录中，目录的名称是:pretrained/mbert/
3- 我使用以下代码来使用它:
from sentence_transformers import SentenceTransformer
def embed_text(sentences, pretrained="../pretrained/mbert/bert-base-multilingual-cased"):
"""
Computes the embeddings of the different sentences in input.
:param sentences: list, of sentences
:param pretrained: str, the pretrained bert model
:return: list, of list
"""
model = SentenceTransformer(pretrained)
sentence_embeddings = model.encode(sentences)
return [arr.tolist() for arr in sentence_embeddings]
我遇到了以下错误:
model = SentenceTransformer(pretrained)
File "C:\ProgramData\Anaconda3\lib\site-packages\sentence_transformers\SentenceTransformer.py", line 104, in __init__
if config['__version__'] > __version__:
KeyError: '__version__'
最佳答案
不能直接使用，模型从huggingface.co下载。看这个issue ，模型文件夹框架在使用 transformer 训练的 PTM 和使用 sentence-transformer 训练的 PTM 之间是不同的。
对于使用句子转换器训练的 PTM，
The folder should consist these files:
0_Transformer/
1_Pooling/
config.json
modules.json
关于git - 将 bert 作为子模块添加到我的 git repo 后找不到错误 "version"，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/64915612/