hadoop - SequenceFile 作为带有自定义类的文本 CLI

标签 hadoop command-line-interface sequencefile

我有一个 SequenceFile 格式的 HDFS 文件。键是 Text,值是自定义可序列化类(例如)MyCustomClass。我想通过 hadoop fs -text 命令读取此文件,但它失败了,因为 hadoop 不知道 MyCustomClass 定义是什么。

我也尝试了 hdfs dfs - text 命令,但得到了相同的响应。使用 hadoop2。

有没有一种方法可以指定类(例如通过 jar,如 -cp myjar.jar 选项)?

最佳答案

您可以使用 -libjars 添加包含自定义可写类的 jar .

例如:

hadoop fs -libjars <JAR>.jar -text <DIR>

关于hadoop - SequenceFile 作为带有自定义类的文本 CLI,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38573820/

相关文章:

java - 使用 java 通过 Apache Ignite 访问 IGFS 文件

arrays - 如何将字符串转换为结构的复杂数组并在 hive 中 explode

hadoop - 使用 pyspark,在 h​​adoop 文件系统上读/写 2D 图像

java - 如何知道它是哪种序列文件?

hadoop - 在 Hadoop 中将 null 写入 DataOutput

java - 由于重新平衡,无法完成提交

javascript - 使用 NodeJS 设置环境变量

macos - 我可以检测 Mac OS 上的程序何时使用我的网络摄像头吗?

c - 占用整个终端的终端应用程序

java - Hadoop SequenceFile-记录的自动增量键