HDFS块大小默认为128 MB(来源:https://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml)
hive strip 大小默认为250 MB(来源:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#LanguageManualORC-FileStructure)
据我了解，HDFS的1个块中必须完全容纳1条。
我在这里想念什么吗？我的信息不正确吗？
您是否仅需要将HDFS配置为具有250 MB的块以适合 strip 化？
最佳答案
Orc文件格式可在 strip 级别拆分。这意味着不需要将一个 strip 大小适合到一个块中。
HDFS块大小在文件级别，而不管其格式如何。
关于hadoop - HDFS的默认 block 大小为128 MB，而Hive的默认 strip 大小为250 MB，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55128225/