hadoop - Apache Nutch 2.3 : won't inject urls (hangs) & hadoop log shows warning

Question

我一直在尝试使用 Elasticsearch 5.4 设置 Nutch 2.3。问题出在 Nutch 中，因为我无法让它注入(inject)我的网址。 hadoop 日志显示以下警告:

安慰:

aurora apache-nutch-2.3.1 # runtime/local/bin/nutch inject urls/seed.txt
InjectorJob: starting at 2017-06-14 17:08:28
InjectorJob: Injecting urlDir: urls/seed.txt

**它卡在这里**

和

Hadoop日志:

aurora apache-nutch-2.3.1 # cat runtime/local/logs/hadoop.log 
2017-06-14 17:08:28,339 INFO  crawl.InjectorJob - InjectorJob: starting at 2017-06-14 17:08:28
2017-06-14 17:08:28,340 INFO  crawl.InjectorJob - InjectorJob: Injecting urlDir: urls/seed.txt
2017-06-14 17:08:28,992 WARN  util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我已经尝试在这个线程( Hadoop "Unable to load native-hadoop library for your platform" warning )之后设置我的 Hadoop 环境变量，但我仍然遇到同样的错误。

有任何想法吗？

Answer 1

不要担心警告。而且我相信您在 Linux 发行版上运行

Nutch2.3 与 ES 5.x 不兼容。我编写了一个自定义 IndexWriter，它在给定端口调用 Logstash，而后者又调用 Elastic Search。您可以尝试这种方法或其他方法。