python - 如何使用Python打开大文件(9GB)?

标签 python csv pandas

我需要分析数据,但文件有 9Gb。当我尝试打开它时,Python 被中断并返回 MemoryError

data = pd.read_csv("path.csv") 有什么办法可以解决这个问题还是我应该删除这个文件?

最佳答案

正如 EdChum 所提到的,我使用 chunksize=n 来分块打开大文件,然后循环遍历这些 block 来执行您需要的任何操作。指定每个数据“ block ”中所需的行数并按如下方式打开:

chunks = 100000
data = pd.read_csv("path.csv", chunksize=chunks)
for chunk in data:
    print "something"

希望这有帮助:)

关于python - 如何使用Python打开大文件(9GB)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37051318/

相关文章:

javascript - D3 : How do I parse a CSV string into an object where keys are column names and values are arrays of data?

python - 从 Pandas Dataframe 的滚动时间窗口中识别重复项

python - 带有查找表的 Pandas fillna

python - GitPython 中当前日期和前一段时间之间的 git diff

php - 目前我的代码将数据导出到 CSV 文件,并将其存储在服务器上。但我想让它下载文件。我该怎么做呢?

python - 如何使用 brython 导入 numpy 或其他库

Ruby 无法解析 CSV 文件:CSV::MalformedCSVError(第 1 行中的非法引用。)

python - 迭代不同的 pandas 数据框名称

python - “模块”对象没有属性 'question' 。类名被视为属性吗?

python - Plotly:如何更改每个子图的背景颜色?