python - 如何分割大型 XBRL 文件?

标签 python stream large-data xbrl arelle

我有大约 50Gb 长的 xbrl 文件。当我尝试通过 arelle 打开它时,我收到 MemoryError。有没有办法将 xbrl 文件分割成更小的部分? xbrl规范支持这个吗?

最佳答案

虽然有一些方法可以做到,但没有一种简单或标准的方法可以将 XBRL 文件分割成更小的部分。您可以将批量事实复制到单独的文件中,但这样做时,您需要确保还复制事实的引用上下文和单元定义。由于上下文和单元可能出现在引用它们的事实之前或之后,因此这变得更加棘手,因此您可能需要在多个流解析中执行此操作。

如果您自己生成数据,我建议您查看 xBRL-CSV 。这是一个新规范,适合以更紧凑的形式表示大型、基于记录的 XBRL 数据集。我相信 Arelle 对此有初步支持。

关于python - 如何分割大型 XBRL 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58854902/

相关文章:

python - 如何分割成 block (子矩阵),或处理一个巨大的矩阵,在 numpy 上给出内存错误?

python - Django OneToOneField,ManyToManyField,外键

python - ipython 笔记本服务器设置调试

python - POST-then-redirect 和 MethodViews

delphi - Delphi THandleStream 中的 CreateFile Windows 错误

javascript - 生成子 Node 进程并将其通过管道传输到当前 Node 进程有什么用?

mysql - 用于超大数据集的 RDBMS——人们在使用什么?

python - 数据帧参数被函数更改。如何避免其变异?

java - 从未知路径读取文件

postgresql - Union-all postgresql select 子句保留顺序