python - 如何提高 Python 3 中的套接字性能？

Question

初始帖子

我有一个运行时间很长的程序，其中大约 97% 的性能与 ftp.retrlines 和 ftp.retrbinary 调用创建的套接字对象相关。我已经使用进程和线程来并行化程序。我还能做些什么来提高速度吗？

示例代码:

# Get file list
ftpfilelist = []
ftp.retrlines('NLST %s' % ftp_directory, ftpfilelist.append)
... filter file list, this part takes almost no time ...
# Download a file
with open(path, 'wb') as fout:
    ftp.retrbinary('RETR %s' % ftp_path, fout.write)

cProfiler 的输出:

5890792 function calls (5888775 primitive calls) in 548.883 seconds

Ordered by: internal time
List reduced from 843 to 50 due to restriction <50>

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
  9166  249.154    0.027  249.154    0.027 {method 'recv_into' of '_socket.socket' objects}
 99573  230.489    0.002  230.489    0.002 {method 'recv' of '_socket.socket' objects}
  1767   53.113    0.030   53.129    0.030 {method 'connect' of '_socket.socket' objects}
 98808    2.839    0.000    2.839    0.000 {method 'write' of '_io.BufferedWriter' objects}

<小时/>

跟进

支持 python 3.4.1 的 gevent fork ( https://github.com/fantix/gevent ) 结果:

7645675 function calls (7153156 primitive calls) in 301.813 seconds

Ordered by: internal time
List reduced from 948 to 50 due to restriction <50>

ncalls       tottime  percall  cumtime  percall filename:lineno(function)
107541/4418  281.228    0.003  296.499    0.067 gevent/hub.py:354(wait)
99885/59883    4.466    0.000  405.922    0.007 gevent/_socket3.py:248(recv)
99097          2.244    0.000    2.244    0.000 {method 'write' of '_io.BufferedWriter' objects}
111125/2796    1.036    0.000    0.017    0.000 gevent/hub.py:345(switch)
107543/2788    1.000    0.000    0.039    0.000 gevent/hub.py:575(get)

concurrent.futures.ThreadPool 的结果:

5319963 function calls (5318875 primitive calls) in 359.541 seconds

Ordered by: internal time
List reduced from 872 to 50 due to restriction <50>

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    31  349.876   11.286  349.876   11.286 {method 'acquire' of '_thread.lock' objects}
  2652    3.293    0.001    3.293    0.001 {method 'recv' of '_socket.socket' objects}
310270    0.790    0.000    0.790    0.000 {method 'timetuple' of 'datetime.date' objects}
    25    0.661    0.026    0.661    0.026 {method 'recv_into' of '_socket.socket' objects}

结论: 对于我的用例，gevent 将性能提高了约 20%!

Answer 1

查看gevent 。它可以对您正在使用的任何库(例如 FTP 库)进行猴子修补，以通过使用协作线程来提高套接字性能。

一般前提是线程程序对于大量 I/O 程序效率不高，因为调度程序不知道线程是否正在等待网络操作，因此当前线程可能已被调度但也浪费时间等待 I/O，而其他线程实际上可能正在工作。

使用 gevent，一旦您的线程(称为 greenlet)遇到阻塞网络调用，它就会自动切换到另一个 greenlet。通过这种机制，您的线程/greenlet 可以得到最大程度的利用。

这是对该库的精彩介绍: http://www.gevent.org/intro.html#example