使用 Azure 数据工厂的 XML 文件

标签 xml azure azure-data-factory

我已使用 Azure 数据工厂中提供的最新 xml 文件系统支持功能,通过复制事件将 2 GB xml 文件转换为 csv,但最终出现内存异常。但如果我使用较小尺寸的文件,例如:500 mb 的文件,则该文件将在 1 小时内得到处理,而无需任何并行性 a 或 DIU。即使我使用并行度、DIU 或 block 大小的所有排列组合,2 GB 文件也不会转换?难道我做错了什么。如果有人可以提出解决方案,那将非常有帮助。

问候, 桑迪普

最佳答案

如果您在标准复制事件中遇到问题,我建议您尝试使用数据流进行 XML 到 CSV 转换。我还建议您配置内存优化的集成运行时来执行数据流事件。

关于使用 Azure 数据工厂的 XML 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63130560/

相关文章:

javascript - 为什么我的 Google Plus javascript 无法验证?

html - xml.NewDecoder(resp.Body).Decode给出EOF错误_GOLang

使用 "extends"的 Azure yaml 管道

c# - Azure Datalake 操作返回无效状态代码禁止

每个环境的 Azure 数据工厂动态内容默认值

java - @XmlElementWrapper 用于使用 JAX-WS 的 Web 方法

Java 风格 XML 每行一个节点且无空格

azure - 是否可以将 .net core Web api 发布到 azure 函数?

azure - 数据工厂无法将最后一列后带有逗号的 `csv` 复制到 SQL 数据仓库

azure-data-factory - 从 Azure 数据工厂调用 Azure SQL DW 存储过程