我想在与特定领域(在我的情况下与工程相关)相关的文本上微调 BERT。培训应该是无人监督的，因为我没有任何标签或任何东西。这可能吗？
最佳答案
您实际上想要的是继续对来自您特定领域的文本进行 BERT 预训练。在这种情况下，您要做的是继续将模型训练为掩码语言模型，但使用特定于域的数据。
您可以使用 run_mlm.py Huggingface 的变形金刚中的脚本。
关于python - 为特定领域微调 Bert(无监督)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/64712375/
相关文章：
python - Pyramid 遍历HTTP PUT到不存在的URI
python - keras v1.2.2 与 keras v2+ 的奇怪行为(准确度存在巨大差异)
r - 如何使用 mxnet 包为 R 中的前馈神经网络指定正则化参数(L1 或 L2)？
java - 使用 SGD 微调神经网络进行数字识别时遇到问题。测试数据上我似乎无法获得超过 87% 的成绩
python - 如何在 python 上循环而不出现 IndexError ？
python - 如何将 ISO 8601 日期时间字符串转换为 Python 日期时间对象？
machine-learning - 如何使用 Keras 计算预测不确定性？