python - 雪花连接器 SQL 编译错误 : maximum number of expressions in a list exceeded, 预计最多 16,384

标签 python snowflake-cloud-data-platform

我正在尝试使用 Python 将数据从 SQL Server 插入到 Snowflake 表中。它一般有效,但如果我想插入更大的数据 block ,它会给我一个错误:

snowflake 连接器 SQL 编译错误:超出列表中表达式的最大数量,预计最多 16,384

我正在使用适用于 Python 的雪花连接器。因此,如果您想一次插入 16384 行,它就可以工作。我的表有超过一百万条记录。我不想使用 csv 文件。

最佳答案

我能够使用 sqlalchemy 和 pandas 插入 > 16k 记录:

pandas_df.to_sql(sf_table, con=engine, index=False, if_exists='append', chunksize=16000)

其中引擎是 sqlalchemy.create_engine(...)

关于python - 雪花连接器 SQL 编译错误 : maximum number of expressions in a list exceeded, 预计最多 16,384,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62541089/

相关文章:

python - Snowflake中的异步查询执行: SQL execution canceled

snowflake-cloud-data-platform - 雪花 table 阶段

python - 如何获取 PyQt 中 QGroupbox 中存在的 Qcheckbox 的状态

python 查找特定元素位置并返回其前面的所有不同元素

python - 在 Python 2.7 中隐藏导出列表中的名称

snowflake-cloud-data-platform - 我可以将 "."作为雪花中列名称的一部分吗?

python - Pycharm python-snowflake 连接器包适用于所有其他项目,除了在科学模式项目中未找到之外

Python:将utf-8字符串转换为字节字符串

python - 如何使用 scikit-learn 拟合多维输出?

snowflake-cloud-data-platform - 需要有关 Snowflake 优化器的信息