我需要使用 C++ 语言将内存中的数据记录以 Parquet 格式写入 HDFS 文件。我知道 github 上有一个 parquet-cpp 库,但我找不到示例代码。
任何人都可以分享示例代码的拷贝或链接吗?谢谢。
最佳答案
examples
中的 github 存储库中有 parquet-cpp 的示例目录。它们只是处理 Parquet,不涉及 HDFS 访问。
要从 C++ 访问 HDFS,您需要 libhdfs来自 Apache Hadoop。或者您可以使用集成了 HDFS 的 Apache Arrow,如所述here .
关于c++ - 如何使用 C++ 在 HDFS 上写入 Parquet 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54156719/