csv - 处理大型 CSV 文件的程序

标签 csv load-data-infile

就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the help center为指导。




8年前关闭。




有没有什么好的程序可以处理读取大型 CSV 文件?我处理的一些数据文件在 1 GB 范围内。他们有太多行让 Excel 无法处理。使用 Access 可能有点慢,因为您必须实际将它们导入数据库才能直接使用它们。是否有程序可以打开大型 CSV 文件并为您提供简单的电子表格布局,以帮助您轻松快速地浏览数据?

最佳答案

MySQL 可以使用 LOAD DATA INFILE 非常快速地将 CSV 文件导入到表中。命令。它还可以直接从 CSV 文件中读取,绕过任何导入过程,使用 CSV storage engine .

使用 LOAD DATA INFILE 将其导入 native 表有启动成本,但之后你可以 INSERT/UPDATE更快,以及索引字段。开始使用 CSV 存储引擎几乎是即时的,但只有顺序扫描会很快。

更新 :This article (向下滚动到标题为“即时数据加载”的部分)讨论了使用这两种方法将 CSV 数据加载到 MySQL 上,并给出了示例。

关于csv - 处理大型 CSV 文件的程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44286/

相关文章:

mysql - 尝试使用 LOAD DATA LOCAL INFILE 将 CSV 文件中的阿拉伯数据导入 mysql

Python:从 CSV 中删除非数字数据

python - 如何使用多表将 JSON 转换为 excel 文件?

MySQL 8.0 : Error when inserting date data

当仍需要实时 SELECT 查询时 MySQL 锁定处理大型 LOAD DATA INFILE

mysql - LOAD DATA LOCAL INFILE COMMAND 几个错误

ruby - Rails CSV 导入没有双引号问题

mysql - 无法使用Python将数据从csv文件加载到MySQL表

php - CSV 大文件分割以导入 phpMyAdmin

mysql - 哪个是快速加载数据 infile 或正常插入?