mysql - 将大文件中的数据高效上传到数据库

Question

大家好，我需要一个建议，如何将足够大的文件中的数据有效上传到 mySql 数据库中。所以我有两个文件 5,85Gb 和 6Gb 的数据。对于上传，我使用了“将本地数据加载到文件中”。第一个文件仍在上传(36 小时)。当前索引大小 7.2 GB。我有两个问题:

1) 数据格式为 Lile :{string , int, int, int, int}。我不需要这个 int 值，所以我创建了一个带有 varchar(128) 类型字段的表，我的查询是LOAD DATA LOCAL INFILE "file"INTO TABLE "tale" ，那么数据是否正确(我的意思是只有没有 int 字段的字符串)。

2) 索引越大，下一个加载时间就越大。那么，我做错了什么吗？我的意思是，我需要什么。我需要在该字符串中进行快速搜索(特别是在最后一个单词中)。因此，所有字符串都恰好包含 5 个单词，将每个单词放在不同的列(n 行，5 列)中是否有意义。

请提出任何建议。

Answer 1

您可以暂时删除索引并在数据加载到表上后重新创建索引吗？我认为这会起作用。

重新创建索引需要时间。