python - 如何将大型 CSV 数据文件分解为单个数据文件？

Question

我有一个 CSV 文件，其中第一行包含变量名称，其余行包含数据。在 Python 中将其分解为每个只包含一个变量的文件的好方法是什么？这个解决方案是否可靠？例如。如果输入文件大小为 100G 怎么办？我正在尝试执行分而治之的策略，但对 Python 来说是新手。预先感谢您的帮助!

输入文件看起来像

var1,var2,var3
1,2,hello
2,5,yay
...

我想创建 3 个(或多个变量)文件 var1.csv、var2.csv、var3.csv 使文件类似于 文件1

var1
1
2
...

文件2

var2
2
5
...

文件3

var3
hello
yay

Answer 1

虽然列数不是很大(大于您在平台上可以同时打开的文件数)，但行数和总大小也没什么大不了的(因为当然，只要您的磁盘上有足够的可用空间；-) 因为您一次只处理一列——我建议使用以下代码:

import csv

def splitit(inputfilename):
  with open(inputfilename, 'rb') as inf:
    inrd = csv.reader(inf)
    names = next(inrd)
    outfiles = [open(n+'.csv', 'wb') for n in names]
    ouwr = [csv.writer(w) for w in outfiles]
    for w, n in zip(ouwr, names):
      w.writerow([n])
    for row in inrd:
      for w, r in zip(ouwr, row):
        ouwr.writerow([r])
    for o in outfiles: o.close()