php - 如何使用 LOAD DATA INFILE 将选定的列从非常大的管道分隔文本/csv 文件插入到 mysql

Question

已经有一个类似的问题，但我想知道如何针对非常大的数据集实现此目的。

@dummy 方法等将花费很长时间。

另外，如果电子表格和表格中的列名称不同该怎么办？

Answer 1

LOAD DATA INFILE '/tmp/actor.tsv'
REPLACE INTO TABLE actor
FIELDS TERMINATED BY '\t'
OPTIONALLY ENCLOSED BY '"'
(@f1, @f2, @f3)
SET first_name = @f1, last_name = @f3

更新。如果字段数量很大，请使用此脚本生成 LOAD 命令:

echo -n "LOAD DATA INFILE '/tmp/actor.tsv'
REPLACE INTO TABLE actor
FIELDS TERMINATED BY '\\t'
OPTIONALLY ENCLOSED BY '\"'
("
comma=""
for i in `seq 300`
do
    echo -n "$comma @f$i"
    comma=","
done
echo ")"
echo "SET first_name = @f1, last_name = @f3"