谷歌云数据流作业失败，出现错误 'Failed to retrieve staged files: failed to retrieve worker in 3 attempts: bad MD5...'

Question

SDK:适用于 Go 0.5.0 的 Apache Beam SDK

我们在 Google Cloud Data Flow 中运行 Apache Beam Go SDK 作业。他们一直工作得很好，直到最近他们间歇性地停止工作(没有对代码或配置进行任何更改)。发生的错误是:

检索暂存文件失败:3 次尝试检索工作人员失败:/var/opt/google/staged/worker 的 MD5 错误:...，想要；/var/opt/google/staged/worker 的错误 MD5:...，想要；

(注:报错信息中好像少了第二个哈希值。)

据我所知，worker 有问题 - 它似乎在尝试比较 worker 的 md5 哈希值并遗漏了其中一个值？不过，我不确切知道它在与什么进行比较。

有人知道是什么导致了这个问题吗？

Answer 1

此问题的解决方法似乎是使用最新更改重建 worker_harness_container_image。我试过这个但是我在本地构建它时没有最新版本。在我从 Beam 存储库中提取最新版本并重建图像(根据此处的注释 https://github.com/apache/beam/blob/master/sdks/CONTAINERS.md )并重新运行后，它似乎又可以工作了。