file - 如何检查HDFS文件是否包含二进制数据?

标签 file hadoop hdfs

是否有任何工具或实用程序可以检查 HDFS 文件是否是 textfile 还是二进制文件,例如 avroORC 等?

我无法回复文件扩展名。我不想知道确切的类型。我只需要知道数据是否可读

最佳答案

让我们bash

 hdfs dfs -cat /file/on/hdfs | head -15 > tmp ; file -i tmp ; rm tmp

对于诸如 parquet 等不可读的文件,您将得到:

tmp: application/octet-stream; charset=binary

关于file - 如何检查HDFS文件是否包含二进制数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43893675/

相关文章:

file - Powershell中的文件和文件夹操作

hadoop - Hadoop 2.4.1和适用于Hadoop的Google Cloud Storage连接器

hadoop - 了解 htfp url 和 hdfs 路径之间的区别

hadoop - 在 Hbase 中,尽量减少行和列的大小,为什么?

java - PIG - 找到接口(interface) org.apache.hadoop.mapreduce.JobContext,但类是预期的

csv - 无法将HDFS中的.csv数据加载到Hadoop中的Hive表中

hadoop - hdfs dfs 命令很慢 - 有没有办法让它更快?

iphone - 在 iPhone 模拟器中从硬盘读取文件

javascript - 当多个文件被删除时,FileReader 只读取一个文件

php - 使用 PHPmailer 将表单附件另存为 .tmp 文件