hadoop - 如何计算校验和?

标签 hadoop hdfs hadoop2 checksum crc32

当我在终端中使用hdfs dfs -checksum /file.txt时,它给出了
/file.txt MD5-of-0MD5-of-512CRC32C
000002000000000000000000ccfadcfdcff630efa5628fb72620d535

如何计算?

据我了解,crc-32用于计算文件的校验和。

crc-32如何计算校验和值?

最佳答案

它不是CRC32,而是使用的CRC32C。它使用3个流并行计算,因此比CRC32更快。每个过程使用的多元单体也不同(0x1EDC6F41,反向为0x82F63B78)。
所使用的算法仍然与CRC32相同。

如果您想查看算法-have a look here on WIKI

关于hadoop - 如何计算校验和?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49854367/

相关文章:

java - Hadoop HDFS问题

hadoop - 使用storm hdfs连接器将数据写入HDFS

hadoop - Hadoop:我们可以为不同的数据集使用不同的 block 大小吗?

hadoop - master节点的"start-all.sh"和"start-dfs.sh"不启动slave节点服务?

hadoop - 在同一台机器上安装 Spark 和 Hadoop

hadoop - 显示1个事件节点的Hadoop 2节点集群UI

sql-server - 我们可以用 HBase 替换 SQL Server 吗?

hadoop - 配置单元压缩不会自动触发-HDP_2.6.5

python - Apache Pig 和用户定义的函数

hadoop - 我必须实现hadoop,这样它才能处理调用详细记录的数据?