c# - 可以使用缓冲读取计算 MD5(或其他)哈希值吗？

Question

我需要计算相当大的文件(千兆字节)的校验和。这可以使用以下方法完成:

    private byte[] calcHash(string file)
    {
        System.Security.Cryptography.HashAlgorithm ha = System.Security.Cryptography.MD5.Create();
        FileStream fs = new FileStream(file, FileMode.Open, FileAccess.Read);
        byte[] hash = ha.ComputeHash(fs);
        fs.Close();
        return hash;
    }

但是，文件通常以缓冲方式预先写入(比如一次写入 32mb)。我非常确信我看到了一个哈希函数的覆盖，它允许我在写入的同时计算 MD5(或其他)哈希，即:计算一个缓冲区的哈希，然后将生成的哈希输入下一次迭代.

像这样的东西:(伪代码)

byte [] hash = new byte [] { 0,0,0,0,0,0,0,0 };
while(!eof)
{
   buffer = readFromSourceFile();
   writefile(buffer);
   hash = calchash(buffer, hash);
}

哈希现在类似于通过对整个文件运行 calcHash 函数来完成的事情。

现在，我在 .Net 3.5 Framework 中找不到任何覆盖，我是在做梦吗？它从未存在过，还是我不擅长搜索？同时进行写入和校验和计算的原因是因为文件很大，所以这样做很有意义。

Answer 1

您使用 TransformBlock 和 TransformFinalBlock 方法以 block 的形式处理数据。

// Init
MD5 md5 = MD5.Create();
int offset = 0;

// For each block:
offset += md5.TransformBlock(block, 0, block.Length, block, 0);

// For last block:
md5.TransformFinalBlock(block, 0, block.Length);

// Get the has code
byte[] hash = md5.Hash;

注意:将所有 block 发送到 TransformBlock 然后将一个空 block 发送到 TransformFinalBlock 以完成该过程(至少对于 MD5 提供程序)是有效的。