Python 函数调用真的很慢

标签 python function profiling call

这主要是为了确保我的方法是正确的,但我的基本问题是,如果我需要访问函数,是否值得在函数外部进行检查。我知道,我知道,过早的优化,但在很多情况下,在函数调用中放置一个 if 语句以确定我是否需要运行其余代码,或者将它放在函数调用之前的区别。换句话说,以一种或另一种方式进行操作并不需要任何努力。现在,所有的检查都混合在两者之间,我希望一切顺利和标准化。

我问的主要原因是因为我看到的其他答案大多引用了 timeit,但这给了我负数,所以我改用这个:

import timeit
import cProfile

def aaaa(idd):
    return idd

def main():
    #start = timeit.timeit()
    for i in range(9999999):
        a = 5
    #end = timeit.timeit()
    #print("1", end - start)

def main2():
    #start = timeit.timeit()
    for i in range(9999999):
        aaaa(5)
    #end = timeit.timeit()
    #print("2", end - start)

cProfile.run('main()', sort='cumulative')
cProfile.run('main2()', sort='cumulative')

得到这个作为输出

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    0.310    0.310 {built-in method exec}
        1    0.000    0.000    0.310    0.310 <string>:1(<module>)
        1    0.310    0.310    0.310    0.310 test.py:7(main)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    2.044    2.044 {built-in method exec}
        1    0.000    0.000    2.044    2.044 <string>:1(<module>)
        1    1.522    1.522    2.044    2.044 test.py:14(main2)
  9999999    0.521    0.000    0.521    0.000 test.py:4(aaaa)

对我来说,这表明不调用该函数是 0.31 秒,而调用它需要 1.52 秒,几乎慢了 5 倍。但就像我说的,我用 timeit 得到了负数,所以我想确保它确实那么慢。

此外,据我所知,函数调用如此缓慢的原因是因为 python 需要查找以确保该函数在运行之前仍然存在或其他原因?有没有什么办法可以让它喜欢……假设一切都还在那里,这样它就不必做不必要的工作(显然)会减慢 5 倍?

最佳答案

您在这里比较苹果和梨。一种方法做简单的赋值,另一种调用函数。是的,函数调用增加开销。

对于 timeit,您应该将其剥离到最低限度:

>>> import timeit
>>> timeit.timeit('a = 5')
0.03456282615661621
>>> timeit.timeit('foo()', 'def foo(): a = 5')
0.14389896392822266

现在我们所做的只是添加一个函数调用(foo 做同样的事情),因此您可以测量函数调用所花费的额外时间。您不能说这慢了将近 4 倍,不,函数调用添加 1.000.000 次迭代的 0.11 秒开销。

如果不是 a = 5,我们做的事情需要 0.5 秒来执行一百万次迭代,将它们移到函数中不会让事情花费 2 秒。现在需要 0.61 秒,因为函数开销没有增加。

函数调用需要操作堆栈,将本地帧压入堆栈,创建一个新帧,然后在函数返回时再次将其全部清除。

换句话说,将语句移动到函数会增加少量开销,移动到该函数的语句越多,开销占完成的总工作量的百分比就越小。函数从不使这些语句本身变慢。

Python 函数只是一个存储在变量中的对象;您可以将函数分配给不同的变量,用完全不同的东西替换它们,或者随时删除它们。调用函数时,首先引用存储它们的名称 (foo),然后调用函数对象 ((arguments));该查找必须每次都以动态语言进行。

您可以在为函数生成的字节码中看到这一点:

>>> def foo():
...     pass
... 
>>> def bar():
...     return foo()
... 
>>> import dis
>>> dis.dis(bar)
  2           0 LOAD_GLOBAL              0 (foo)
              3 CALL_FUNCTION            0
              6 RETURN_VALUE        

LOAD_GLOBAL 操作码在全局命名空间中查找名称 (foo)(基本上是哈希表查找),并将结果压入堆栈。 CALL_FUNCTION 然后调用堆栈中的任何内容,将其替换为返回值。 RETURN_VALUE 从函数调用返回,再次将堆栈最顶层的内容作为返回值。

关于Python 函数调用真的很慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14648374/

相关文章:

python - 真正的文件对象比 StringIO 和 cStringIO 慢?

python - python中大小写转换

java - 显示在整个执行过程中命中了哪些代码行的 Eclipse 工具?

ruby - 低开销的 Ruby 分析?

java - 使用 perf 进行分析时,JMH 给出 <not counted> 值

python - 如何从 spacy 中的转录中表示未知/空白词?

python - 在 timeit 中使用分号

function - LUA:在类中使用其名称(字符串)调用函数

function - Monad 和函数之间的区别

c++ - 我不断收到错误 "cannot convert ' float *' to ' float' 作为返回”