我已使用 Azure 数据工厂中提供的最新 xml 文件系统支持功能,通过复制事件将 2 GB xml 文件转换为 csv,但最终出现内存异常。但如果我使用较小尺寸的文件,例如:500 mb 的文件,则该文件将在 1 小时内得到处理,而无需任何并行性 a 或 DIU。即使我使用并行度、DIU 或 block 大小的所有排列组合,2 GB 文件也不会转换?难道我做错了什么。如果有人可以提出解决方案,那将非常有帮助。
问候, 桑迪普
最佳答案
如果您在标准复制事件中遇到问题,我建议您尝试使用数据流进行 XML 到 CSV 转换。我还建议您配置内存优化的集成运行时来执行数据流事件。
关于使用 Azure 数据工厂的 XML 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63130560/