python - ipython --pylab 和 ipython 笔记本启动缓慢

标签 python performance ipython

我已从 ipython 0.10 切换到 1.1.0。现在我遇到了非常烦人的启动过程缓慢问题。

虽然ipython单独仍然很快就能启动,但ipython --pylab启动速度非常慢,即〜8秒(在Intel(R) Core(TM)2 Duo CPU P9500 @ 2.53GHz 系统),更重要的是我在 ipython 0.10 中没有的新 ipython 笔记本,即 ~12 秒.

当我执行 strace -o tessi.txt -tt ipython --pylab 时,我至少可以识别出似乎导致大部分延迟的部分。非常欢迎任何有关消除这些问题的帮助。

对于 --pylab 选项,strace 的输出包含一个消耗 ~5 秒 的部分,并且在仅启动 ipython 时不存在,即

10:23:24.331968 stat("/etc/resolv.conf", {st_mode=S_IFREG|0644, st_size=868, ...}) = 0
10:23:24.332028 socket(PF_FILE, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 9
10:23:24.332074 connect(9, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = 0
10:23:24.332152 sendto(9, "\2\0\0\0\4\0\0\0\35\0\0\0MYHOST.DOM.AIN."..., 41, MSG_NOSIGNAL, NULL, 0) = 41
!! -> 10:23:24.332227 poll([{fd=9, events=POLLIN|POLLERR|POLLHUP}], 1, 5000) = 1 ([{fd=9, revents=POLLIN|POLLHUP}])
!! -> 10:23:29.336301 read(9, "\2\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0", 32) = 32
10:23:29.336533 close(9)                = 0
10:23:29.336839 close(7)                = 0

我将实际主机名替换为 MYHOST.DOM.AIN

对于ipython笔记本来说,似乎本质上有两个这样的区域。第一个似乎与 ipython --pylab 相同。第二个又花了 ~4 秒

10:39:31.823298 stat("/etc/resolv.conf", {st_mode=S_IFREG|0644, st_size=868, ...}) = 0
10:39:31.823358 socket(PF_FILE, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 9
10:39:31.823405 connect(9, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = 0
10:39:31.823499 sendto(9, "\2\0\0\0\4\0\0\0\35\0\0\0MYHOST.DOM.AIN."..., 41, MSG_NOSIGNAL, NULL, 0) = 41
!! -> 10:39:31.824166 poll([{fd=9, events=POLLIN|POLLERR|POLLHUP}], 1, 5000) = 1 ([{fd=9, revents=POLLIN|POLLHUP}])
!! -> 10:39:36.827298 read(9, "\2\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0", 32) = 32
10:39:36.827503 close(9)                = 0
10:39:36.827828 close(7)                = 0    

10:39:38.591774 setsockopt(6, SOL_TCP, TCP_NODELAY, [0], 4) = 0
10:39:38.591922 poll([{fd=3, events=POLLIN}, {fd=4, events=POLLIN}, {fd=6, events=POLLIN}, {fd=7, events=POLLIN}], 4, 0) = 0 (Timeout)
10:39:38.592007 poll([{fd=3, events=POLLIN}, {fd=4, events=POLLIN}, {fd=6, events=POLLIN}, {fd=7, events=POLLIN}], 4, 0) = 0 (Timeout)
!! -> 10:39:38.592049 poll([{fd=3, events=POLLIN}, {fd=4, events=POLLIN}, {fd=6, events=POLLIN}, {fd=7, events=POLLIN}], 4, 3600000) = ? ERESTART_RESTARTBLOCK (To be restarted)
!! -> 10:39:42.355658 --- SIGINT (Interrupt) @ 0 (0) ---
10:39:42.355773 write(5, "\0", 1)       = 1
10:39:42.355916 rt_sigreturn(0x2)       = -1 EINTR (Interrupted system call)
10:39:42.356113 rt_sigaction(SIGINT, {0x7f26dc0fbfc6, [], SA_RESTORER, 0x7f26dbe5a2d0}, {0x7f26dc0fbfc6, [], SA_RESTORER, 0x7f26dbe5a2d0}, 8) = 0
10:39:42.356672 clone(child_stack=0x7f26cfb49ff0, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0x7f26cfb4a9d0, tls=0x7f26cfb4a700, child_tidptr=0x7f26cfb4a9d0) = 11084

任何有关如何消除这些延迟的帮助将非常受欢迎。

最后,当我这样做的时候。当我查看 strace 的剩余输出时,我发现,在启动时,ipython 尝试在我天真地认为它不应该这样做的地方打开许多“python 相关”文件,并且我的系统 python 绝对没有在这些地方打开安装了?所有这些许多公开调用都失败了。例如:

11:11:26.465594 open("/opt/intel/composerxe-2011.3.174/compiler/lib/intel64/tls/libpython2.7.so.1.0", O_RDONLY) = -1 ENOENT (No such file or directory)
11:11:26.465646 stat("/opt/intel/composerxe-2011.3.174/compiler/lib/intel64/tls", 0x7fff0efb0100) = -1 ENOENT (No such file or directory)

or

11:11:26.468293 stat("/usr/local/lib/vtk-5.4/tls/x86_64", 0x7fff0efb0100) = -1 ENOENT (No such file or directory)
11:11:26.468347 open("/usr/local/lib/vtk-5.4/tls/libpython2.7.so.1.0", O_RDONLY) = -1 ENOENT (No such file or directory)

这些调用的总时间弥补了剩余缓慢启动的另一个重要部分,但我无法指出特定的时间段。知道如何减少这些电话吗?

最佳答案

1) 我建议不要从 --pylab 开始,我们鼓励人们在开始后使用 %matplotlib。使用 --pylab 时启动的开销很可能是由于导入我们无权访问的包造成的。例如,ArchLinux 上存在错误,其中每个 ipython --pylab 占用数百 MB,因为内存泄漏不在 IPython 代码中。

对套接字的访问仍然看起来很奇怪,准确了解它的来源可能会有所帮助。

2)笔记本的第二个可能是由于 ZMQ 以及通过本地主机上的套接字开始的一些通信。我们知道在某些情况下这可能需要一些时间,但我们还需要找出代码的哪一部分对此执行速度很慢。 Notebook 还启动一个网络服务器,因此可以进行网络操作。

3) 可能是由于我们使用的某些库,我们没有在 ipython 中显式打开此类设置。特别是VTK。您有加载特定内容的配置文件吗?

您可以尝试在 IPython 跟踪器上提出问题,但我们可能会要求您更深入地了解 ipython 中哪些 python 调用需要花费如此多的时间。启动时间的问题已经在核心开发人员之间提出过。

大家一致认为,这将是“尽最大努力”,但我们的团队绝对太小,无法将此作为优先事项。与 vbech 等工具集成来跟踪回归会很好,如果有人有动力深入研究慢速调用,我们将很高兴尽最大努力来改进事情。

关于python - ipython --pylab 和 ipython 笔记本启动缓慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19076474/

相关文章:

java - 检查部分已知的整数是否在某个范围内

python - 如何在传递自定义 user_ns 和横幅时启动 ipython 应用程序实例?

python - Python 中模板生成器的文件名

python - django中基于角色实现访问控制

python:单行三元运算符中列表元素的if-else

python - 正则表达式查找单词中的连续字符并删除该单词

performance - 如何加速 SORM 中的简单计数操作?

sql - 将INCLUDE列与SQL Server索引一起使用有什么好处?

python - 如何在一个单元格内的 ipython 笔记本中循环更新两个子图

module - 如何在IPython中自动重新加载模块?