python - 从每日 CSV 文件更新 MYSQL - 跳过已导入

Question

我正在使用以下脚本将每天更新的 CSV 文件中的数据复制到 Mysql 数据库中。

csv_data = csv.reader(open('test.csv'))
next(csv_data, None)
for row in csv_data:  
    with connection.cursor() as cursor:
         cursor.execute(("INSERT INTO test(`1` ,`2`,`3` .......) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"), (row[0]........))

CSV 目前有超过 40,000 行，并且会继续增长，这意味着需要数小时才能完成。

我知道我可以在数据库中添加一个唯一标识符，这将停止重复并执行 INSERT IGNORE 以跳过它，但是我还能做些什么来加快这个过程吗？

Answer 1

“插入忽略”将解决您的问题。