如果我们在表中逐一插入数据并且加载整个文件,那么雪花的微分区如何工作? 使用insert逐一加载数据与从文件加载数据相比,微分区的数量会增加吗?
最佳答案
不确定问题的目的是什么,但批量加载文件显然比执行单独的记录插入要好得多,这不仅是因为您的问题,还因为实际的加载性能。
对于您的问题,Snowflake 将确定它是否有一个单记录微分区,并且您要插入 1 条附加记录,它将创建一个新的 2 记录微分区(假设它们不是很大的记录)。因此,事件表本身不会有更多的微分区,但您仍然拥有单记录微分区作为时间旅行和故障安全的一部分。因此,如果您一次又一次地执行此 1 条记录,您将需要支付大量额外的微分区费用。
单记录插入在 Snowflake 中并不是一个好主意。值得研究如何将它们批量化并批量加载。
关于snowflake-cloud-data-platform - 雪花微分区,以防插入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65467762/