sql - 跳过 Redshift 数据加载中的不良记录

Question

我正在尝试使用以下命令将数据加载到 AWS redshift

copy venue from 's3://mybucket/venue'
credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>'
delimiter '\t';

但数据加载失败，当我检查特定加载的查询部分时，我注意到它因“错误的 UTF8 十六进制序列:a4(错误 3)”而失败

有没有办法跳过数据加载到 redshift 中的错误记录？

Answer 1

是的，您可以使用 maxerror 参数。这个例子将允许最多跳过 250 个坏记录(错误被写入 STL_load_errors):

copy venue 
from 's3://mybucket/venue' 
credentials 'aws_access_key_id=;aws_secret_access_key=' 
delimiter '\t' 
maxerror as 250;