python - 如何加速python网络？

Question

我发现 python 网络慢。

我有一个服务器(用 C 语言编写)。我用我的客户(python)测试了它。 我可以达到 2MB/s。这让我很担心，所以我检查了这个:

主机 1(客户端): cat some_big_file | nc 主机 2 9999

host2(服务器): nc -l 0.0.0.0 9999 | pv >/dev/null

我达到了大约 120MB/s (1Gb)。

服务器不是瓶颈，我们在生产中使用它，它可以处理更多。但为了确保我复制了简单的 python gevent 服务器进行测试。它看起来像这样:

  #!/usr/bin/env python
  from gevent.server import StreamServer
  from gevent.pool import Pool

  def handle(socket, address):
       while True:
           print socket.recv(1024)

  pool = Pool(20000)
  server = StreamServer(('0.0.0.0', 9999), handle, spawn=pool)
  server.serve_forever()

下一步是从nc (host1)发送到gserver (host2)。

host1: cat some_big_file | NC 主机 2 9999 主机 2:./gserver.py | pv >/dev/null

host2 上的输出:[ 101MB/s]。不错。

但是，当我使用我的 python 客户端时，它仍然很慢。我将客户端切换到 gevent 。我尝试了几个 greenlets。 1、10、100、1000 - 它没有太大帮助，我可以用一个 python 进程达到 20MB/s 或 ~30MB/s 2、3、 4、5 个独立的 python 进程，这是一些东西，但仍然不是很好)。还是很慢。我已经将客户端重写为愚蠢的，如下所示:

#!/usr/bin/env python
import sys
import socket

c = socket.create_connection((sys.argv[1], sys.argv[2]))
while 1:
        c.send('xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\n')

通过这种方法，我可以达到 10MB/s。我还尝试了将整个大 2GB 文件读取到内存并将其发送的方法，结果类似。

我还尝试将 python 脚本作为单独的进程运行(使用 tmux)。如果我使用 1 个进程，我可以达到 10MB/s，2 个进程 20MB/s，3 个进程 23MB/s, 4, 5, 6进程没有改变任何东西(使用 gevent 版本和简单版本测试)。

详细信息: Python-2.7.3 Debian 7 - 标准安装 机器是 AWS 实例，客户端是 c1.medium，服务器是 c3.xlarge。 nc 和 iperf 在机器之间测得 1Gb/s。

问题:

1. 为什么我可以使用 python 服务器(gevent 服务器)快速接收大量数据，但即使 C 程序可以，也无法以相同的速度发送。
2. 为什么将进程加倍并没有将发送速度提高到极限，而只是提高到某个值。
3. 有什么方法可以使用套接字在 python 中快速发送数据吗？

Answer 1

问题不在于网络速度慢——python 函数调用有很多开销。如果您多次调用 connection.send，您将在函数调用上浪费大量 CPU 时间。

在我的电脑上，您的程序平均速度约为 35 MB/s。做一个简单的修改，我得到 450 MB/s:

#...
c.send('xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'*10+'\n')

通过一次发送更多数据，我可以达到超过 1GB/s 的速度。

如果您想最大化吞吐量，您应该在一次调用 send 时发送尽可能多的数据。一种简单的方法是在发送最终结果之前连接几个字符串。如果这样做，请记住 python 字符串是不可变的，因此连续的字符串连接(大字符串)很慢。您需要改用 bytearray。