facebook - 从Twitter状态获取意图的工具？

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。

想改善这个问题吗？更新问题，以使溢出。

4个月前关闭。

on-topic

我正在考虑一个项目，在该项目中，该地区的人们通过公开发布的相关相关推文来增加出版物的内容。但是我如何以编程方式找到相关的推文？我知道生成代表自然语言含义的结构几乎是NLP的圣杯，但是也许我可以使用某些工具来至少缩小一点范围？

另外，我可以只使用标签。但这需要代表用户做更多的工作。我对Twitter不太熟悉-大多数人都使用主题标签（即使是较小规模的问题），还是依靠它们会切断很大一部分数据？

我也会对获取Facebook状态感兴趣（当然要获得海报的许可），并且在Facebook上很少使用井号标签。

我可以使用简单的关键字搜索来粗略地缩小范围，但这很可能需要人工干预才能确定哪些推文实际上应与内容一起发布。

有想法吗？以前做过吗？

最佳答案

找到与您的内容相关的推文有两种简单的方法。
第一种是将其视为有监督的文档分类任务，您将训练分类器使用一组预定的主题标签来注释推文。然后，您可以使用标签来选择适合您要扩充的内容的推文。如果您不喜欢使用预定的主题集，那么另一种方法是简单地根据推文与内容的语义重叠来对推文评分。然后，您可以显示语义重叠最多的前n条推文。

监督文件分类

使用受监管的文档分类将要求您具有一组训练有特色的推文，这些推文标有您要使用的主题集。例如。，

鸣叫：NBA总决赛摇摆不定标签：体育
鸣叫：Google员工现在允许使用Ruby！标签：编程
鸣叫：吃午餐标签：其他

如果您想收集培训数据而不必用主题手动标记推文，则可以使用井号将主题标签分配给推文。主题标签可以与主题标签相同，或者您可以编写规则以将带有某些主题标签的推文映射到所需标签。例如，标记为#NFL或#NBA的推文都可以分配为sports的标签。

一旦按主题标记了推文，就可以使用任意数量的现有软件包来训练将标签分配给新推文的分类器。一些可用的软件包包括：

NLTK （Python）-请参见Learning to Classify Text上NLTK书中的第6章
Classifier4J（Java）
nBayes（C＃）

语义重叠

使用推文与内容的语义重叠来查找推文，就无需标记训练集。估算内容和所评分的推文之间语义重叠的最简单方法是使用vector space model。为此，请将您的文档和每个推文表示为一个向量，向量中的每个维都对应一个单词。然后，分配给每个矢量位置的值表示该单词对文档含义的重要性。一种估算方式是简单地使用单词在文档中出现的次数。但是，使用TF/IDF之类的字词可能会获得更好的结果，该字词会增加罕见字词的权重，而减少较常见字词的权重。

将内容和tweet表示为向量后，您可以通过将向量的cosine similarity用作内容以及每个tweet的向量，来根据内容的语义相似性对tweet进行评分。

无需自己编写任何代码。您可以只使用像Classifier4J这样的包，它包含一个VectorClassifier类，该类使用向量空间模型对文档的相似性进行评分。

更好的语义重叠

向量空间模型在每个维度上使用一个术语可能会遇到一个问题，即它们在处理含义大致相同的不同单词方面做得不好。例如，这样的模型将说The small automobile和A little car之间没有相似性。

有更复杂的建模框架，例如latent semantic analysis (LSA)和latent dirichlet allocation (LDA)，可用于构造相互比较的文档的更多抽象表示。可以将此类模型视为不是基于简单的单词重叠而是根据单词的基本含义的重叠来对文档评分。

在软件方面，软件包Semantic Vectors为文档相似性提供了类似LSA的可扩展框架。对于LDA，可以使用David Blei's implementation或Stanford主题建模工具箱。

关于facebook - 从Twitter状态获取意图的工具？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3484878/

上一篇：recursion - 尾递归与前向递归

下一篇：assembly - CA65:来自 16 位计算地址的 'Range error'

相关文章：

facebook - 如何定位 Facebook 弹出窗口？

facebook - Facebook 'Like'社交插件“＆”号错误

javascript - 如何使用codebird.js 搜索twitter API 来匹配用户？

nlp - 使用斯坦福解析器提取子句

asp.net - 多行 ASP.NET 文本框的 Facebook 蓝色突出显示

ruby-on-rails - 设计+ Omniauth : undefined method `user_omniauth_authorize_path'

php - Twitter api php foreach 循环不适用于用户推文

android - 分页 - 你关注的推特人

Python 自然语言处理 : TypeError: not all arguments converted during string formatting

Python - 生成单数名词的复数名词