csv - CKAN : Upload to datastore failed; Resource too large to download

Question

当我尝试将大型 csv 文件上传到 CKAN 数据存储时，它失败并显示以下消息

Error: Resource too large to download: 5158278929 > max (10485760).

我更改了资源上传的最大字节数

ckan.max_resource_size = 5120

在

/etc/ckan/production.ini

我还需要更改什么才能将大型 csv 上传到 ckan。

截图:

Answer 1

该错误消息来自 DataPusher，而不是来自 CKAN 本身:https://github.com/ckan/datapusher/blob/master/datapusher/jobs.py#L250 。不幸的是，DataPusher 的最大文件大小似乎被硬编码为 10MB:https://github.com/ckan/datapusher/blob/master/datapusher/jobs.py#L28 。不支持将较大的文件推送到数据存储中。

两种可能的解决方法可能是:

1. 使用DataStore API自己添加数据。

2. 将上面链接到的 DataPusher 源代码行中的 MAX_CONTENT_LENGTH 更改为更大的值。