python - 查看非常大的 CSV 文件的一部分？

Question

我有一个约 1.0gb 的 CSV 文件，当尝试将其加载到 Excel 中进行查看时，Excel 崩溃了。我不知道该文件的架构，因此我很难将其加载到 R 或 Python 中。该文件包含餐厅评论，其中有逗号。

如何在 Windows 记事本或 Excel 中仅打开文件的一部分(例如前 100 行，或 1.0mb 的大小)？

Answer 1

在我的 Excel 版本中，打开的对话框似乎没有提供“仅读取这些行”选项，仅提供从行开始(我猜用于跳过标题)。

因此，如果您的平台上没有头二进制文件，但 python 适合您的情况的简单工作解决方案应该是(硬编码 100 行又名行):

#! /usr/bin/env python
from __future__ import print_function

import sys

LINE_COUNT = 100


def main():
    """Do the thing."""
    if len(sys.argv) != 3:
        sys.exit("Usage: InFIle OutHead100File")
    in_name, out_name = sys.argv[1:3]
    print("Simple head(100)[%s] -> %s ..." % (in_name, out_name))
    with open(in_name, 'rt') as f_in, open(out_name, 'wt') as f_out:
        for n in range(LINE_COUNT):
            f_out.write(f_in.readline())

if __name__ == '__main__':
    main()

并且可以调用上面的代码(假设存储在脚本文件 so_x_head_100.py 中，并且给定文件 huge.csv 应该将前 100 行复制到文件 100.csv):

$ python2 ./so_x_head_100.py huge.csv 100.csv
Simple head(100)[huge.csv] -> 100.csv ...

现在在 100.csv 中，有 huge.csv 的前 100 行。