python - 批量加载程序 CSV 大小错误

标签 python google-app-engine bulkloader

当导入包含大单元格的 CSV 文件时,Bulkloader 会引发以下错误:

[ERROR   ] Error in data source thread: field larger than field limit (131072)

这是 csv 模块的常见问题,可以通过以下方式修复:

csv.field_size_limit(sys.maxint)

我怎样才能让 bulkloader 执行这个?

最佳答案

试试这个:

在 bulkloader.yaml 添加:

python_preamble:
- import: csv_fix
... # the rest of your imports

在 csv_fix.py 添加:

import csv, sys
csv.field_size_limit(sys.maxint)

关于python - 批量加载程序 CSV 大小错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5973363/

相关文章:

python - 添加 X 轴上方或图表顶部的特征

python - create_string_buffer 抛出错误 TypeError : str/bytes expected instead of str instance

python - GAE DataStore引用属性关系

google-app-engine - 如何使用 appcfg.py 将重复属性上传到 ndb 数据存储区

Java Google App Engine 批量加载器上传错误 “OverflowError: date value out of range”

python - 如何检查 matplotlib 的 pylab 后端是否内联运行?

python - Deep Dream : CPU works but not GPU, 加载原生TensorFlow运行时失败

api - 何时使用。 ProtoRPC 或 REST

java - 最喜欢的开源 Google App Engine 应用(Java 或 Python)

python - 谷歌应用程序引擎批量加载器 "Unexpected Thread Death"