google-cloud-storage - 有没有办法使用Dataflow读取Excel文件

有没有办法使用 Dataflow 读取存储在 GCS 存储桶中的 Excel 文件？

我还想知道我们是否可以使用 Dataflow 访问 GCS 中对象的元数据。如果是的话怎么办？

最佳答案

CSV 文件通常用于从 Excel 读取文件。这些文件可以拆分并逐行读取，因此非常适合数据流。您可以使用 TextIO.Read 提取文件的每一行，然后将它们解析为 CSV 行。

如果您想使用不同的二进制 Excel 格式，那么我相信您需要读取整个文件并使用库来解析它。如果可以的话，我建议使用 CSV 文件。

至于读取GCS元数据。我不认为您可以使用 TextIO 执行此操作，但您可以直接调用 GCS API 来访问元数据。如果您只在程序开始时对几个文件执行此操作，那么它会起作用并且不会太昂贵。如果您需要读取许多这样的文件，您将为每个文件添加一个额外的 RPC。

小心不要多次读取同一个文件，我建议读取每个文件的元数据一次，然后将元数据写入侧面输入。然后，在您的 ParDo 之一中，您可以访问每个文件的侧面输入。

关于google-cloud-storage - 有没有办法使用Dataflow读取Excel文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43626158/