python - 在python中拆分大数据文件

标签 python excel large-data large-data-volumes data-management

我将一个大数组输出到python中的文本文件中。然后我在excel中读取它来绘制数据。
目前,我正在编写的文件太大,无法在 excel 中读取。
我使用文件打开和关闭函数并将数据写入数组(请参阅代码):

with open("abc.txt", "w") as file:
    file.write(str(abc_value))
    file.close()
问题:如何拆分数据文件,以便在 1000000 步(大约)之后,文件关闭并开始写入另一个文件。
最后,应该有多个数据文件,我可以分别在 excel 中读取。
非常感谢任何线索!

最佳答案

我不确定 type(abc_value) 最初是什么,但是如果您可以以数组的形式提交,则此代码应该可以工作:

counter = 1
for i in range(0, len(abc_value), 1000000):
    with open(f"abc{counter}.txt", "w") as file:
        for val in abc_value[i:i + 1000000]:
            file.write(str(val))
        file.close()
        counter += 1
主要思想只是拆分原始数据,然后在 for 循环中创建和打开不同的文件。
输出文件应为“abc1.txt”、“abc2.txt”、...
希望我正确理解了您的问题,并回答了它。

关于python - 在python中拆分大数据文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66127434/

相关文章:

Fortran 子例程 : How to load data only on first call

python - 如何从 SQLalchemy 模型创建 json 树结构

python - 多处理。池 : What's the difference between map_async and imap?

python - Pip 安装 : can't open file pip, 或父模块 '' 未加载

python - 如何使用Python从Excel中的特定列中提取不可见的注释

sql-server - SSIS 错误 : 0xC002F21 0"Query is too complex.". 可能的失败原因 : Problems with the query, "ResultSet"属性设置不正确

excel - VBA Excel DataForm(搜索按钮上的 Else If 语句)

vba - 将项目添加到在运行时添加到用户窗体的 ComboBox

python - 具有大数据集的嵌套 for 循环

matlab - 在Matlab中使用大矩阵