python子进程和mysqldump

Question

我知道之前有人问过这个问题的一部分，但我有一些相关的问题。

我正在尝试执行

mysqldump -u uname -ppassword --add-drop-database --databases databaseName | gzip > fileName

我可能会倾倒一个非常大(200GB？)的数据库。这本身就是一件愚蠢的事情吗？然后我想通过网络发送压缩文件进行存储，删除本地转储，并清除几个表。

无论如何，我是这样使用子进程的，因为似乎没有办法在不考虑子进程的情况下执行整个原始调用 |成为表名。:

from subprocess import Popen, PIPE

f = open(FILENAME, 'wb')
args = ['mysqldump', '-u', 'UNAME', '-pPASSWORD', '--add-drop-database', '--databases', 'DB']

p1 = Popen(args, stdout=PIPE)
P2 = Popen('gzip', stdin=p1.stdout, stdout=f)
p2.communicate()

但后来我读到通信将数据缓存在内存中，这对我不起作用。这是真的？

我现在最终做的是:

import gzip
subprocess.call(args, stdout=f)
f.close()

f = open(filename, 'rb')
zipFilename = filename + '.gz'
f2 = gzip.open(zipFilename, 'wb')
f2.writelines(f)
f2.close()
f.close()

当然这需要一百万年，我讨厌它。

我的问题: 1. 我可以在非常大的数据库上使用我的第一种方法吗？ 2. 我可以将 mysqldump 的输出通过管道传输到套接字并通过网络触发它并在它到达时保存它，而不是发送压缩文件吗？

谢谢!

Answer 1

您不需要 communicate()。如果你想阅读 stdout/stderr 直到完成，它只是作为一种方便的方法。但是由于您正在链接命令，它们正在为您执行此操作。只需等待它们完成即可。

from subprocess import Popen, PIPE

args = ['mysqldump', '-u', 'UNAME', '-pPASSWORD', '--add-drop-database', '--databases', 'DB']

with open(FILENAME, 'wb', 0) as f:
    p1 = Popen(args, stdout=PIPE)
    p2 = Popen('gzip', stdin=p1.stdout, stdout=f)
p1.stdout.close() # force write error (/SIGPIPE) if p2 dies
p2.wait()
p1.wait()