python - 如何使用 Python NLTK 计算 WordNet 中两个形容词之间的最短路径(测地线)距离?

标签 python nlp nltk wordnet cosine-similarity

计算 WordNet 中两个同义词集之间的语义相似度可以通过几个内置的相似度度量轻松完成,例如:

synset1.path_similarity(synset2)

synset1.lch_similarity(synset2), Leacock-Chodorow 相似度

synset1.wup_similarity(synset2), Wu-Palmer 相似度

(as seen here)

但是,所有这些都利用了 WordNet 的分类关系,即名词和动词的关系。形容词和副词通过同义词、反义词和从属词相关。如何测量两个形容词之间的距离(跳数)?

我尝试了 path_similarity(),但正如预期的那样,它返回了 'None':

from nltk.corpus import wordnet as wn
x = wn.synset('good.a.01')
y = wn.synset('bad.a.01')


print(wn.path_similarity(x,y))

如果有什么方法可以计算一个形容词和另一个形容词之间的距离,请指出来。

最佳答案

没有简单的方法来获得不是名词/动词的词之间的相似性。

如前所述,名词/动词相似度很容易从

中提取
>>> from nltk.corpus import wordnet as wn
>>> dog = wn.synset('dog.n.1')
>>> cat = wn.synset('cat.n.1')
>>> car = wn.synset('car.n.1')
>>> wn.path_similarity(dog, cat)
0.2
>>> wn.path_similarity(dog, car)
0.07692307692307693
>>> wn.wup_similarity(dog, cat)
0.8571428571428571
>>> wn.wup_similarity(dog, car)
0.4
>>> wn.lch_similarity(dog, car)
1.072636802264849
>>> wn.lch_similarity(dog, cat)
2.0281482472922856

对于形容词来说很难,因此您需要构建自己的文本相似度设备。最简单的方法是使用向量空间模型,基本上,所有单词都由一些 float 表示,例如

>>> import numpy as np
>>> blue = np.array([0.2, 0.2, 0.3])
>>> red = np.array([0.1, 0.2, 0.3])
>>> pink = np.array([0.1001, 0.221, 0.321])
>>> car = np.array([0.6, 0.9, 0.5])
>>> def cosine(x,y):
...     return np.dot(x,y) / (np.linalg.norm(x) * np.linalg.norm(y))
... 
>>> cosine(pink, red)
0.99971271929384864
>>> cosine(pink, blue)
0.96756147991512709
>>> cosine(blue, red)
0.97230558532824662
>>> cosine(blue, car)
0.91589118863996888
>>> cosine(red, car)
0.87469454283170045
>>> cosine(pink, car)
0.87482313596223782

要为诸如 pink = np.array([0.1001, 0.221, 0.321]) 之类的对象训练一堆向量,您应该尝试使用 google for

  • 潜在语义索引/潜在语义分析
  • 词袋
  • 向量空间模型语义
  • Word2Vec、Doc2Vec、Wiki2Vec
  • 神经网络
  • 余弦相似度自然语言语义

您还可以尝试一些现成的软件/库,例如:

除了向量空间模型,您还可以尝试一些图形模型,将单词放入图形中,并使用诸如 pagerank 之类的东西在图形中走动,从而为您提供一些相似性度量。

另见:

关于python - 如何使用 Python NLTK 计算 WordNet 中两个形容词之间的最短路径(测地线)距离?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31234168/

相关文章:

python - 在 python 中替换 char 以引用的最佳方法

python - AttributeError at/'OrderedDict' 对象在快速入门文档的 Django REST 框架中没有属性 'register'

elasticsearch - ElasticSearch 中的实体标记

python-3.x - Python 字典特征提取

python - 我怎么能在 python/nltk 中使用完整的 penn treebank 数据集

python - 在 sympy 中评估三角函数表达式

python - 如果Kafka消费者关闭,如何读取最后一条消费消息后的消息?

azure - LUIS 可以在多个模型之间共享实体定义吗?

python - Nltk json数据加载错误

python - 通过 Python 代码阅读阿拉伯语语料库