我有一个 python 脚本 A.py
,它使用带有一些 IP 列表
的目标文件作为参数,并输出一个 CSV
文件从某些来源找到有关 IP 的信息。(运行方法:python A.py Input.txt -c Output.csv)
。
完成这项工作需要很长时间。后来,我拆分输入文件 ( split -l 1000 Input.txt)
-> 创建目录( 10 目录
) -> 执行脚本,将输入并行拆分为 10 个目录在屏幕
模式下
如何高效地完成这类工作?有什么建议吗?
最佳答案
试试这个:
parallel --round --pipepart -a Input.txt --cat python A.py {} -c {#}.csv
如果 A.py
可以从 fifo 中读取,那么这会更有效:
parallel --round --pipepart -a Input.txt --fifo python A.py {} -c {#}.csv
如果您的磁盘有很长的寻道时间,那么使用 --pipe
代替 --pipepart
可能会更快。
关于python - Python 中的并行处理问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34013781/