java - Hadoop 构建在 Windows 中失败 : zconf. native.sln 中缺少 h？

Question

我正在尝试在装有 Windows 10 家庭版的开发计算机上构建以下 hadoop 版本

hadoop-2.7.3-src

以下是我本地开发环境的详细信息:

-Windows 10 家庭版

-英特尔酷睿 i5-6200U CPU @2.30GHz

-RAM 16 GB

-64 位操作系统，基于 x64 的处理器

-Microsoft Visual Studio Community 2015 版本 14.0.25431.01 更新 3

-还将 MSBUILD 位置添加为 C:\Program Files (x86)\MSBuild\14.0\Bin\amd64 到 Windows 系统环境变量路径

-.NET Framework 4.6.01586

-cmake 版本 3.7.2

-CYGWIN_NT-10.0 LTPBCV82DUG 2.7.0(0.306/5/3) 2017-02-12 13:18 x86_64 Cygwin

-java 版本“1.8.0_121”

-Java(TM) SE 运行时环境(build 1.8.0_121-b13)

-Java HotSpot(TM) 64 位服务器 VM(构建 25.121-b13，混合模式)

-Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T11:41:47-05:00)

-Google Protocol Buffers protoc --version libprotoc 2.5.0

此外，我还创建了名为 Platform 的系统环境变量并将其设置为 x64

我打开了 Visual Studio 2015 (VS2015) 的开发者命令提示符

c:\hadoop\hadoop-2.7.3-src> mvn package -Pdist,native-win -DskipTests -Dtar -X

不幸的是，我收到以下错误:

 [C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.vcxproj]
  ZlibDecompressor.c
c:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\compress\zlib\org_apache_hadoop_io_compress_zlib.h(36): fatal error C1083: Cannot open include file: 'zlib.h': No such file or directory [C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.vcxproj]
Done Building Project "C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.vcxproj" (default targets) -- FAILED.
Done Building Project "C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.sln" (default targets) -- FAILED.

Build FAILED.

"C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.sln" (default target) (1) ->
"C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.vcxproj" (default target) (2) ->
(ClCompile target) ->
  c:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\compress\zlib\org_apache_hadoop_io_compress_zlib.h(36): fatal error C1083: Cannot open include file: 'zlib.h': No such file or directory [C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.vcxproj]
  c:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\src\org\apache\hadoop\io\compress\zlib\org_apache_hadoop_io_compress_zlib.h(36): fatal error C1083: Cannot open include file: 'zlib.h': No such file or directory [C:\hadoop\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.vcxproj]

    0 Warning(s)
    2 Error(s)

Time Elapsed 00:00:02.49

上述错误与 zlib 工具有关。

网上查了一下，有人说需要在Visual Studio中构建成功如下Visual Studio解决方案文件:

....\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\native\native.sln

在管理员模式下使用 Visual Studio 2015，我打开 native.sln 文件，立即看到错误:

enter image description here

有人可以告诉我必须采取哪些步骤来解决上述错误吗？

Answer 1

因此，为了解决这些问题，我必须采取很多步骤。

在 ....\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\winutils 目录中，我在 Visual Studio 2015 中打开了以下解决方案:

winutils.sln

在 .....\hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\winutils\libwinutils.c 中，我注释掉了以下代码行，并做了一个修改后的拷贝如下所示:

//const WCHAR* wsceConfigRelativePath = WIDEN_STRING(STRINGIFY(WSCE_CONFIG_DIR)) L"\\" WIDEN_STRING(STRINGIFY(WSCE_CONFIG_FILE));

const WCHAR* wsceConfigRelativePath = WIDEN_STRING("../etc/hadoop") L"\\" WIDEN_STRING("wsce-site.xml");

此外，在 winutils 解决方案的属性窗口中，我必须将平台值设置为 x64，如下面的屏幕截图所示:

接下来，我打开 Dos 命令提示符，检查我的 Windows 操作系统的确切版本:

版本

Microsoft Windows [版本 10.0.14393]

此外，我还打开了 libwinutils 项目的属性窗口，并确保在以下快照中标记的属性具有正确的值:

此外，我对 winutils 项目的属性采取了相同的步骤:

(抱歉，stackoverflow 不允许我放置另一张图片快照，但您基本上要做的就是确保 winutils 项目的属性设置正确)

我下载了 zlib 1.2.11 版本的源代码。使用 VS2015 的开发人员命令提示符(Visual Studio 2015)我使用 cmake 从 zlib 版本 1.2.11 源代码构建了 zlib

c:\zlib\zlib-1.2.11>cmake  -G "Visual Studio 14 2015" -A x64 c:\zlib\zlib-1.2.11\
-- The C compiler identification is MSVC 19.0.24215.1
-- Check for working C compiler: C:/Program Files (x86)/Microsoft Visual Studio 14.0/VC/bin/x86_amd64/cl.exe
-- Check for working C compiler: C:/Program Files (x86)/Microsoft Visual Studio 14.0/VC/bin/x86_amd64/cl.exe -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Looking for sys/types.h
-- Looking for sys/types.h - found
-- Looking for stdint.h
-- Looking for stdint.h - found
-- Looking for stddef.h
-- Looking for stddef.h - found
-- Check size of off64_t
-- Check size of off64_t - failed
-- Looking for fseeko
-- Looking for fseeko - not found
-- Looking for unistd.h
-- Looking for unistd.h - not found
-- Configuring done
-- Generating done
-- Build files have been written to: C:/zlib/zlib-1.2.11

最后，用cmake运行构建

c:\zlib\zlib-1.2.11>cmake --build .

在 Windows 系统变量中，我定义了以下变量:

ZLIB_HOME 设置为 C:\zlib\zlib-1.2.11