python - 如何在 Python 中拆分大文件 csv 文件(7GB)

Question

我有一个 7GB 的 csv 文件，我想将其拆分成更小的 block ，以便在笔记本上用 Python 进行分析时可读且速度更快。我想从中获取一小部分，大概 250MB，我该怎么做呢？

Answer 1

您不需要 Python 来拆分 csv 文件。使用你的外壳:

$ split -l 100 data.csv

会将 data.csv 拆分为 100 行的 block 。