python - 从短文本中提取关键词并进行排名

标签 python nlp spacy keyword-extraction

我正在从事一个从短文本(3-4 句话)中提取关键词的项目。我使用 spaCy 库提取名词短语和 NER,并将它们用作关键字。但是,我想根据它们对原文的重要性对它们进行排序。

我尝试了标准的信息检索方法,例如 tfidf,甚至尝试了一些基于图形的算法,但文本如此短,结果并不是很好。

我在想也许使用具有注意力机制的神经网络可以帮助我对这些关键字进行排名。有什么方法可以使用 spaCy 附带的预训练模型进行某种排名吗?

最佳答案

诸如最大边际相关性之类的东西怎么样? http://www.cs.cmu.edu/~jgc/publication/The_Use_MMR_Diversity_Based_LTMIR_1998.pdf

关于python - 从短文本中提取关键词并进行排名,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55716059/

相关文章:

python - 社区版有 IntelliJ Python 插件吗?

python - 对标记文本进行分类时出现问题,预测错误?

python - 如何使用spacy查找句子是否包含名词?

python - 用于文本分类任务的 NLP 数据准备和排序

python - spacy.lang.en 和 load ('en' ) 有什么区别?

python - ChromeOption '--safebrowsing-disable-download-protection' 不会禁用 Chrome 版本 67.x 中的下载警告

python - numpy中具有不同形状的高效乘法矩阵

python - 如何检查 MPL 3d 使用什么坐标系?

tensorflow - Keras Tokenizer num_words 指定了什么?

machine-learning - 单行上的字符串索引器、CountVectorizer Pyspark