keras - 如何在预训练的 ELMO 嵌入中获得相似的词?

标签 keras deep-learning nlp word-embedding elmo

如何在预训练的 ELMO 嵌入中获得给定单词的相似单词?例如:在 Glove 中,我们使用 glove_model.most_similar() 来查找最相似的单词及其对任何给定单词的嵌入。
同样,我们在 ELMO 中有什么吗?

最佳答案

与 GloVe 不同,GloVe 对有限词汇表中的每个词都有一个单独的条目,ELMo 使用字符级 CNN 动态计算词嵌入,因此理论上,ELMo 应该能够处理无限词汇量。在实践中,它只适用于在训练中遇到的单词和与其相似的单词,但它仍然能够获得向量或任意字符串。

所以,像 GloVe 那样拥有一个方法并没有多大意义。但是,您可以为您感兴趣的词汇预先计算向量并自己实现最近邻搜索,例如,使用 scipy.spatial.cKDTree .

关于keras - 如何在预训练的 ELMO 嵌入中获得相似的词?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55728245/

相关文章:

python - keras.layers.Embedding 的输出形状

deep-learning - 如何创建具有混合分类和连续矩阵输入的 Pytorch 网络

python - 运行神经网络代码时出现值错误

pandas - 通过排除某些词汇更快地加载 fasttext 模型

python - 在 keras.preprocessing.text 中使用 Tokenizer 时内存不足

python - 我如何在keras中拟合两个连接LSTM的模型?

python - 使用 keras 的卷积网络中的自定义过滤器

python - Tensorflow 中的目标必须是一维 Top_k_categorical_accuracy

web-services - 在哪里可以找到Twitter消息存档或搜索旧的Tweet?

python-2.7 - 如何使用 FeatureUnion 转换流水线中的多个特征?