python - 使用 nltk 的 2 个句子/字符串/文本之间的句法相似性/距离

标签 python machine-learning nlp scikit-learn nltk

<分区>

我有 2 个文本如下

文本 1:约翰喜欢苹果

Text2:Mike 讨厌橙色

如果检查以上 2 个文本,它们在句法上相似,但在语义上具有不同的含义。

我要找

1) 2个文本之间的句法距离

2) 2个文本之间的语义距离

我是 NLP 的新手,有什么方法可以使用 nltk 来做到这一点吗?

最佳答案

是的,但不限于 nltk。一种用于句法距离的方法是词性标记(POS 标记),它将句子的每个单词映射到特定标记:https://en.wikipedia.org/wiki/Part-of-speech_tagging

例如,它将您的句子映射到这些:
Text1:名词动词名词
Text2:名词动词名词

然后就可以测量这两个句子的距离了。


而对于语义,你需要语义词网并为句子的每个词找到同义词,然后尝试在每个句子中找到词的同义词的交集

关于python - 使用 nltk 的 2 个句子/字符串/文本之间的句法相似性/距离,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38976670/

相关文章:

python - Theano/numpy 高级索引

machine-learning - 是什么导致 Caffe 抛出总线错误

python - 使用 Pandas DataFrame 列的 Sklearn GridSearchCV

python - 在Python中使用短语和词干进行快速词典查找

python - 用Python确定最大公因数

python - 创建具有负值排列的列表

Python 使用 DocxTemplate 填充 docx 表

python - 通过python中的TCP套接字在客户端-服务器之间发送文件?

machine-learning - KeyedVector 中的 Gensim Doc2Vec.infer_vector() 等效项

使用 Netbeans 在斯坦福 NER 上出现 Java 堆空间错误