elasticsearch - Nutch和Elasticsearch

标签 elasticsearch nutch

我正在使用Elasticsearch,AngularJS和Nutch构建一个小型搜索应用程序。我几乎完成了ES和AngularJS部分。现在是Nutch和ES的时候了,使用Nutch抓取数据并将其索引到ES中。我一直在将Nutch 1.10与ES 1.4一起使用。我一直在使用Nutch v1.10在本地计算机上进行一些大约(约50个站点)的初始小型爬网。现在,我看到ES达到了v2.3或类似版本,并且Nutch v1.11 STILL似乎使用了ES v1.4。

是否有人对使用Nutch v1.10以及任何大于1.4的ES版本(可能是ES v1.5或v1.7)有任何经验?

如果可能的话,我想留在Nutch 1.x分支。

最佳答案

我没有在ES 1.5 / 1.6 / 1.7中使用Nutch,但indexer-elastic插件使用的API之间不应有重大变化。我刚刚按照https://github.com/apache/nutch/blob/master/src/plugin/indexer-elastic/howto_upgrade_es.txt中的说明进行操作,并在没有问题的情况下使用ES 1.7.2构建/测试了(ant test)Nutch 1.11。这意味着该代码可以正常运行,但是我尚未测试将实际数据索引到Elasticsearch中。

您必须构建自己的Nutch发行版,我建议您将Elasticsearch客户端版本与ES服务器版本保持同步。

关于elasticsearch - Nutch和Elasticsearch,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36703483/

相关文章:

python - 如何解析嵌套json对象的元素?

elasticsearch - 想要从Elasticsearch的点击部分中获得不同的记录

performance - Elasticsearch-将not_analyzed字段与部分搜索词匹配

hadoop - nutch 1.10 作业失败,错误请求错误索引到 solr 5.3.1

hadoop - Hadoop上的Nutch |输入路径不存在:

java - Apache Nutch 2.3.1 获取错误

indexing - 动态添加字段到 NutchDocument

elasticsearch - 是否可以在 Elasticsearch 查询中添加评论?

elasticsearch - 在elasticsearch中具有带空格的单词的索引和搜索文档

java - 我的 nutch 重新抓取脚本出了什么问题