c++ - 如何使用 C++ 在 HDFS 上写入 Parquet 文件?

标签 c++ hdfs parquet

我需要使用 C++ 语言将内存中的数据记录以 Parquet 格式写入 HDFS 文件。我知道 github 上有一个 parquet-cpp 库,但我找不到示例代码。

任何人都可以分享示例代码的拷贝或链接吗?谢谢。

最佳答案

examples 中的 github 存储库中有 parquet-cpp 的示例目录。它们只是处理 Parquet,不涉及 HDFS 访问。

要从 C++ 访问 HDFS,您需要 libhdfs来自 Apache Hadoop。或者您可以使用集成了 HD​​FS 的 Apache Arrow,如所述here .

关于c++ - 如何使用 C++ 在 HDFS 上写入 Parquet 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54156719/

相关文章:

hadoop - MapReduce 中是否需要 key ?

hadoop - 是否可以压缩配置单元外部表中包含 Json 数据的 Parquet 文件?

C++ 在构造函数中用表达式初始化引用

c++ - Qt 中的自动调整大小标签

hadoop - 可以在近RDBMS方案中使用哪些hadoop框架

java - 为什么Hadoop FTPFileSystem.listStatus(Path path)不起作用?

scala - 无法读取 Parquet 支持的区分大小写的 Glue 表

mysql - Sqoop 从 HDFS 导出到 MySQL

c++ - 如何正确地将转换构造函数从 std::queue 传递到底层 std::deque?

c++ - Visual Studio SFML 教程图形显示不正确