任何人都可以向我指出一些用于分类的大型语料库吗?
但总的来说,我并不是指路透社或 20 个新闻组,我指的是 GB 大小的语料库,而不是 20MB 或类似的东西。
我只能找到这个路透社和 20 个新闻组,这对于我需要的东西来说太小了。
最佳答案
最流行的文本分类评估数据集是:
但是上面的数据集不满足“大”要求。以下数据集可能符合您的标准:
Commoncrawl您可以通过提取元标记中具有特定关键字的文章来构建大型语料库并应用于文档分类。
Enron Email Dataset您可以在这里执行各种不同的分类任务。
Topic Annotated Enron Dataset 。不是免费的,但已经标记并满足您的大型语料库要求
您可以浏览其他公开的datasets here
除了上述内容之外,您可能还需要开发自己的语料库。我将在本周末晚些时候发布一个新闻语料库构建器,它将帮助您根据您选择的主题开发自定义语料库
更新:
已经创建了我上面提到的自定义语料库构建器模块,但忘记链接它 News Corpus Builder
关于dataset - 大型分类文档语料库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32246702/