我想删除雪花表中数据框对象中的记录。
同样,我想根据雪花表中数据帧中的“键”执行更新。
我的研究表明utils方法可以执行DDL操作,但我找不到一些示例可以引用。
最佳答案
正如您提到的,您可以使用Utils对象的runQuery()方法来执行DDL/DML SQL语句:
如果你想基于某些键来执行此操作,那么你可以迭代 DataFrame 上的项目,并为每个项目运行 SQL:
how to loop through each row of dataFrame in pyspark
但是这将成为性能 killer 。 Snowflake 是一个数据仓库,因此您应该始终更喜欢“批量更新”而不是单行更新。
我建议您将数据帧写入 Snowflake 中的临时表,然后调用 SQL 根据临时表更新目标表中的行。
关于python - 如何从 AWS Glue 脚本更新/删除雪花,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60155712/