apache - 错误 util.Shell - 无法在 Windows 10 的 hadoop 二进制路径中找到 winutils 二进制文件

标签 apache hadoop nutch

任何人都可以帮助我如何在 eclipse 中配置 nutch。我尝试了 wiki 中提供的所有教程。(http://wiki.apache.org/nutch/Nutch2Tutorial 和许多其他教程,因为我无法在此处粘贴所有链接)。但每次我都会收到 NullPointerException。是否有任何其他教程可用。

但是在我的 hadoop.log 中我发现了这条消息 错误 util.Shell - 无法在 hadoop 二进制路径中找到 winutils 二进制文件。

我使用的是 hadoop-2.5.2,但这个包不包含任何 winutils.exe。我还尝试了其他可用于使用 VisualStudio 构建 Winutils.exe 的教程,但无法创建它。

请帮助我如何使用 Visual Studio 2015 创建 winutils.exe,我认为没有 winutils.exe 我无法运行 Nutch。

注意:我使用的是 Windows 10、Visual Studio 2015、hadoop-2.5.2、Apache Nutch 2.x

将 winutils.exe 放入另一个链接后,现在我收到一个新错误 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

最佳答案

根据 Hadoop wiki page to setup on Winows , Apache Hadoop 已经在 Windows Server 2008 和 Windows Server 2008 R2 上进行了测试和使用,由于 Win32 API 的相似性,它们也可能在 Windows Vista 和 Windows 7 上运行。

也就是说,您有 3 个选择:

  1. 您可以选择支持 Windows 10 的 Hadoop 发行版。
  2. 您可以选择您选择的发行版支持的不同 Windows 版本。
  3. 如果可能,我会推荐一台基于 Linux(最好是 CentOS、RedHat 等)的机器。然后你有很多发行版可供选择。

如果您找到了解决您所面临问题的方法,我鼓励您自己回答您的问题 :)

关于apache - 错误 util.Shell - 无法在 Windows 10 的 hadoop 二进制路径中找到 winutils 二进制文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32930980/

相关文章:

hadoop - Hadoop 中的 mapred.child.javaopts 参数 - 读取序列化的 HashMap

java - 如何在 Windows 上的 eclipse 中运行 nutch 1.9?

c++ - Linux下如何统计多进程应用的CPU使用率

java - Apache Tomcat 7 显示空白页面 Mac OSX 10.8

hadoop - Spark Swift 集成 Parquet

web-crawler - 为什么 Nutch 似乎不知道 "Last-Modified"?

java - 如何从nutch访问抓取的内容以进行内容分类

mysql - 为什么sql查询不按时间戳顺序输出左连接数据?

regex - .htaccess 重定向 : convert path to GET variables?

hadoop - 配置单元BITMAP索引表中BITMAPS列的使用