windows - 在 Windows 上安装和运行 hadoop 2.2 的文档

标签 windows hadoop

<分区>

在最新版本的 Hadoop 2.2 中,我看到发行说明提到此版本对在 Windows 上运行 Hadoop 有重大改进。我昨天下载了 Hadoop 2.2,我看到很多 .cmd 文件和 .sh 文件,这确保了这个版本有用于在 Windows 环境中运行 Hadoop 的脚本和批处理文件。然而,在查看 Apache Hadoop 文档时,我找不到任何关于如何在 Windows 上安装和运行这个新版本的分步说明。除此之外,新版本似乎嵌入了 YARN 架构,一些在线教程中提供的旧配置可能已过时且不再适用。是否有任何关于 Hadoop 2.2 的在线可用文档?我希望它专门用于在 Windows 下运行 Hadoop。

最佳答案

如果我们直接获取 Apache Hadoop 2.2.0 版本的二进制分发版并尝试在 Microsoft Windows 上运行它,那么我们会遇到 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path。

Apache Hadoop 2.2.0 版本的二进制分发版不包含某些 Windows 原生组件(如 winutils.exe、hadoop.dll 等)。这些是在 Windows 上运行 Hadoop 所必需的(不是可选的)。

因此,您需要从位于 hadoop 源代码分发内的“BUILD.txt”文件后面的源代码构建 hadoop 的 Windows native 二进制分发。您也可以按照以下帖子以及屏幕截图的分步指南

Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS

关于windows - 在 Windows 上安装和运行 hadoop 2.2 的文档,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19430196/

相关文章:

windows - 无法将 Windows 上的 OpenCL 与 GHC 链接起来

windows - MongoDB 容器在 Windows 10 上失败

java - 使用 Java 的 PC Toast 消息

使用 log4j 的 Hadoop Yarn 任务级日志记录

ruby - hadoop流作业失败无法从SCDynamicStore env加载领域信息:ruby\r:无此类文件或目录

Hadoop 流 : single file or multi file per map. 不要拆分

apache-spark - 为什么 Spark 不根据读取时的 Parquet block 大小创建分区? (相反,它似乎按 Parquet 文件压缩大小进行分区)

windows - 用 Rust 构建的 DLL 在运行时需要 libgcc.dll 吗?

Windows Ubuntu Bash SSH 进入 Github

hadoop - 在生产系统中将solr数据存储在hdfs中好吗?