给个HDFS路径,怎么判断是什么格式(文本,序列还是parquet)?
最佳答案
我认为要完成您的需求并不容易,除非您在 HDFS 中的所有文件都遵循一些约定,例如.txt
用于文本,.seq
用于序列,.parquet
用于 parquet 文件。
但是,您可以使用 cat
手动检查您的文件。
HDFS 猫:
hadoop dfs -cat/path/to/file | head
检查它是否是一个文本文件。Parquet head : parquet-tools head [选项...]/path/to/file
或者,编写一个程序来读取....
关于hadoop - 如何检查HDFS上文件的格式?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30294527/