python - 如何从 AWS Glue 脚本更新/删除雪花

标签 python aws-glue snowflake-cloud-data-platform

我想删除雪花表中数据框对象中的记录。

同样,我想根据雪花表中数据帧中的“键”执行更新。

我的研究表明utils方法可以执行DDL操作,但我找不到一些示例可以引用。

最佳答案

正如您提到的,您可以使用Utils对象的runQuery()方法来执行DDL/DML SQL语句:

https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#executing-ddl-dml-sql-statements

如果你想基于某些键来执行此操作,那么你可以迭代 DataFrame 上的项目,并为每个项目运行 SQL:

how to loop through each row of dataFrame in pyspark

但是这将成为性能 killer 。 Snowflake 是一个数据仓库,因此您应该始终更喜欢“批量更新”而不是单行更新。

我建议您将数据帧写入 Snowflake 中的临时表,然后调用 SQL 根据临时表更新目标表中的行。

关于python - 如何从 AWS Glue 脚本更新/删除雪花,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60155712/

相关文章:

建立连接后,Python TCP socket.recv() 什么都不返回

python - 如何让玩家角色移动?

python - 安装工具警告 : Failed to find the configured license file 'L'

java - 从现有 AWS Glue 爬网程序获取 Cloudformation

date - 在 pyspark 中转换或处理日期数据类型的最佳方法是什么

sql - 如何在 DataGrip 中使用参数运行查询?

java - Twisted python 服务器和 Java 聊天

amazon-s3 - awsgluecloudformation Parquet 作业

sql - 雪花。如何检查子数组是否存在于另一个数组中?

snowflake-cloud-data-platform - Snowflake 上的 COPY INTO 查询返回 TABLE 不存在错误