c++ - 在现有 C++ 可执行项目 CMAKE 中构建 Apache Arrow

标签 c++ cmake apache-arrow

我正在开发一个使用 Apache Arrow 作为依赖项的 C++ CMake 项目。我的目标是能够包含和使用 arrow/api.h。但是,我找不到任何文档或教程来解释我可以做些什么来实现这一目标,所以我的第一个想法是使用 CMake 的 FetchContent 将其添加为第三个库,因此,我添加了以下代码到我的 CMakeLists.txt:

include(FetchContent REQUIRED)

# INCLUDING APACHE ARROW ================================ #
message(STATUS "Searching for Apache Arrow")
FetchContent_Declare(
        arrow
        GIT_REPOSITORY https://github.com/apache/arrow.git
        GIT_TAG        apache-arrow-0.15.1
)
FetchContent_GetProperties(arrow)
if(NOT arrow_POPULATED)
    message(STATUS "Populating Arrow")
    FetchContent_Populate(arrow)
    add_subdirectory(${arrow_SOURCE_DIR}/cpp ${arrow_BINARY_DIR})
endif()

我现在可以在我的项目中找到代码 - 虽然仍然不能使用 include arrow/api.h - 但每当我尝试构建它时,我都会收到来自 Apache 的 CMakeLists.txt 的错误箭头cpp src目录!这是包含错误的 CMake 构建日志:

-- Searching for Apache Arrow
-- Populating Arrow
-- Building using CMake version: 3.15.3
-- Arrow version: 0.15.1 (full: '0.15.1')
-- Arrow SO version: 15 (full: 15.1.0)
-- clang-tidy not found
-- clang-format not found
-- infer not found
-- Could NOT find PythonInterp (missing: PYTHON_EXECUTABLE) 
-- Found cpplint executable at CPPLINT_BIN-NOTFOUND
-- Compiler command: C:/MinGW/bin/g++.exe -v
-- Compiler version: Using built-in specs.
COLLECT_GCC=C:/MinGW/bin/g++.exe
COLLECT_LTO_WRAPPER=c:/mingw/bin/../libexec/gcc/mingw32/8.2.0/lto-wrapper.exe
Target: mingw32
Configured with: ../src/gcc-8.2.0/configure --build=x86_64-pc-linux-gnu --host=mingw32 --target=mingw32 --prefix=/mingw --disable-win32-registry --with-arch=i586 --with-tune=generic --enable-languages=c,c++,objc,obj-c++,fortran,ada --with-pkgversion='MinGW.org GCC-8.2.0-3' --with-gmp=/mingw --with-mpfr=/mingw --with-mpc=/mingw --enable-static --enable-shared --enable-threads --with-dwarf2 --disable-sjlj-exceptions --enable-version-specific-runtime-libs --with-libiconv-prefix=/mingw --with-libintl-prefix=/mingw --enable-libstdcxx-debug --with-isl=/mingw --enable-libgomp --disable-libvtv --enable-nls --disable-build-format-warnings
Thread model: win32
gcc version 8.2.0 (MinGW.org GCC-8.2.0-3) 

-- Compiler id: GNU
Selected compiler gcc 8.2.0
-- Arrow build warning level: CHECKIN
Configured for DEBUG build (set with cmake -DCMAKE_BUILD_TYPE={release,debug,...})
-- Build Type: DEBUG
-- Using  approach to find dependencies
-- AWSSDK_VERSION: 1.7.160
-- BOOST_VERSION: 1.67.0
-- BROTLI_VERSION: v1.0.7
-- BZIP2_VERSION: 1.0.8
-- CARES_VERSION: 1.15.0
-- DOUBLE_CONVERSION_VERSION: v3.1.5
-- FLATBUFFERS_VERSION: v1.11.0
-- GBENCHMARK_VERSION: v1.5.0
-- GFLAGS_VERSION: v2.2.0
-- GLOG_VERSION: v0.3.5
-- GRPC_VERSION: v1.20.0
-- GTEST_VERSION: 1.8.1
-- JEMALLOC_VERSION: 5.2.1
-- LZ4_VERSION: v1.8.3
-- MIMALLOC_VERSION: 270e765454f98e8bab9d42609b153425f749fff6
-- ORC_VERSION: 1.5.5
-- PROTOBUF_VERSION: v3.7.1
-- RAPIDJSON_VERSION: 2bbd33b33217ff4a73434ebf10cdac41e2ef5e34
-- RE2_VERSION: 2019-08-01
-- SNAPPY_VERSION: 1.1.7
-- THRIFT_VERSION: 0.12.0
-- THRIFT_MD5_CHECKSUM: 3deebbb4d1ca77dd9c9e009a1ea02183
-- URIPARSER_VERSION: 0.9.3
-- ZLIB_VERSION: 1.2.11
-- ZSTD_VERSION: v1.4.3
-- Boost include dir: 
-- Boost libraries: 
-- Performing Test DOUBLE_CONVERSION_HAS_CASE_INSENSIBILITY
-- Performing Test DOUBLE_CONVERSION_HAS_CASE_INSENSIBILITY - Failed
-- Building without OpenSSL support. Minimum OpenSSL version 1.0.2 required.
-- Found hdfs.h at: D:/School/Research Project/TestApacheArrow/cmake-build-debug/_deps/arrow-src/cpp/thirdparty/hadoop/include/hdfs.h
-- CMAKE_C_FLAGS:  -g -O0   -Wall -Wno-conversion -Wno-sign-conversion -Wno-unused-variable -Werror
-- CMAKE_CXX_FLAGS:  -Wno-noexcept-type  -fdiagnostics-color=always -g -O0  -Wall -Wno-conversion -Wno-sign-conversion -Wno-unused-variable -Werror 
CMake Error at cmake-build-debug/_deps/arrow-src/cpp/src/arrow/CMakeLists.txt:362 (add_dependencies):
  add_dependencies called with incorrect number of arguments


CMake Error at cmake-build-debug/_deps/arrow-src/cpp/CMakeLists.txt:814 (export):
  export Export set "arrow-targets" not found.


-- ---------------------------------------------------------------------
-- Arrow version:                                 0.15.1
-- 
-- Build configuration summary:
--   Generator: MinGW Makefiles
--   Build type: DEBUG
--   Source directory: D:/School/Research Project/TestApacheArrow/cmake-build-debug/_deps/arrow-src/cpp
--   Install prefix: C:/Program Files (x86)/TestApacheArrow
-- Configuring incomplete, errors occurred!
See also "/cmake-build-debug/CMakeFiles/CMakeOutput.log".
See also "/cmake-build-debug/CMakeFiles/CMakeError.log".

我是不是漏掉了什么?这是将 Apache Arrow 包含在现有项目中的正确方法吗?知道如何修复此错误吗?

我正在使用 Windows 10,但最终想在 Linux 上运行该项目!

最佳答案

我们目前不支持使用 add_subdirectory 在另一个 CMake 项目中包含 Apache Arrow。不过,您可以使用 ExternalProject_Add,它应该可以工作。还应该可以使用 CMake 的内置 find_package 工具来查找预构建的包。

我们希望为 C++ 开发人员(包括在他们的 CMake 项目中使用 Apache Arrow)提供有据可查且简单明了的解决方案。我们很乐意在我们的开发人员邮件列表 dev@arrow.apache.org 上进一步讨论

关于c++ - 在现有 C++ 可执行项目 CMAKE 中构建 Apache Arrow,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59760278/

相关文章:

c++ - 说 C++ 中的数组或 Python 中的列表是类是否正确?数据结构?或两者?

c++ - 如何仅通过调用基类的相同方法来调用继承类的方法?

visual-studio - 如何通过 CMake 更改 Visual Studio 解决方案的启动项目?

pandas - apache arrow - 并行处理的充分性

c++ - Makefile:链接器错误

c++ - 指针是如何比较的?

c++ - iOS 框架 : image not found

c++ - Qt、cmake 和 qhelpgenerator

python - 有没有办法控制 Apache Arrow 批量大小?

r - 如何使用 arrow::open_dataset 连接到 Azure Blob 存储中的 Parquet 文件?