我正在使用Elasticsearch,AngularJS和Nutch构建一个小型搜索应用程序。我几乎完成了ES和AngularJS部分。现在是Nutch和ES的时候了,使用Nutch抓取数据并将其索引到ES中。我一直在将Nutch 1.10与ES 1.4一起使用。我一直在使用Nutch v1.10在本地计算机上进行一些大约(约50个站点)的初始小型爬网。现在,我看到ES达到了v2.3或类似版本,并且Nutch v1.11 STILL似乎使用了ES v1.4。
是否有人对使用Nutch v1.10以及任何大于1.4的ES版本(可能是ES v1.5或v1.7)有任何经验?
如果可能的话,我想留在Nutch 1.x分支。
最佳答案
我没有在ES 1.5 / 1.6 / 1.7中使用Nutch,但indexer-elastic
插件使用的API之间不应有重大变化。我刚刚按照https://github.com/apache/nutch/blob/master/src/plugin/indexer-elastic/howto_upgrade_es.txt中的说明进行操作,并在没有问题的情况下使用ES 1.7.2构建/测试了(ant test
)Nutch 1.11。这意味着该代码可以正常运行,但是我尚未测试将实际数据索引到Elasticsearch中。
您必须构建自己的Nutch发行版,我建议您将Elasticsearch客户端版本与ES服务器版本保持同步。
关于elasticsearch - Nutch和Elasticsearch,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36703483/