python - 在 python 3.6 上工作但在 3.7.3 上不工作的方法的内存

Question

我使用装饰器通过 lru_cache 将内存扩展到本身不可哈希的对象的方法(遵循 stackoverflow.com/questions/33672412/python-functools-lru-cache-with-class-methods-release-object )。 此内存在 python 3.6 上运行良好，但在 python 3.7 上显示意外行为。

观察到的行为: 如果使用关键字参数调用 memoized 方法，则 memoization 在两个 python 版本上都可以正常工作。如果在没有关键字 arg 语法的情况下调用它，它适用于 3.6 但不适用于 3.7。

==> 什么会导致不同的行为？

下面的代码示例显示了一个重现该行为的最小示例。

test_memoization_kwarg_call 通过 python 3.6 和 3.7。 test_memoization_arg_call 在 python 3.6 中通过但在 3.7 中失败。

import random
import weakref
from functools import lru_cache


def memoize_method(func):
    # From stackoverflow.com/questions/33672412/python-functools-lru-cache-with-class-methods-release-object
    def wrapped_func(self, *args, **kwargs):
        self_weak = weakref.ref(self)

        @lru_cache()
        def cached_method(*args_, **kwargs_):
            return func(self_weak(), *args_, **kwargs_)

        setattr(self, func.__name__, cached_method)
        print(args)
        print(kwargs)
        return cached_method(*args, **kwargs)

    return wrapped_func


class MyClass:
    @memoize_method
    def randint(self, param):
        return random.randint(0, int(1E9))


def test_memoization_kwarg_call():
    obj = MyClass()
    assert obj.randint(param=1) == obj.randint(param=1)
    assert obj.randint(1) == obj.randint(1)


def test_memoization_arg_call():
    obj = MyClass()
    assert obj.randint(1) == obj.randint(1)

请注意，奇怪的是，assert obj.randint(1) == obj.randint(1) 行在使用时不会导致 test_memoization_kwarg_call 中的测试失败在 python 3.6 中，但在 test_memoization_arg_call 中对于 python 3.7 失败。

Python 版本:分别为 3.6.8 和 3.7.3。

更多信息

user2357112 建议检查 import dis; dis.dis(test_memoization_arg_call)。 在 python 3.6 上，这给出了

 36           0 LOAD_GLOBAL              0 (MyClass)
              2 CALL_FUNCTION            0
              4 STORE_FAST               0 (obj)

 37           6 LOAD_FAST                0 (obj)
              8 LOAD_ATTR                1 (randint)
             10 LOAD_CONST               1 (1)
             12 CALL_FUNCTION            1
             14 LOAD_FAST                0 (obj)
             16 LOAD_ATTR                1 (randint)
             18 LOAD_CONST               1 (1)
             20 CALL_FUNCTION            1
             22 COMPARE_OP               2 (==)
             24 POP_JUMP_IF_TRUE        30
             26 LOAD_GLOBAL              2 (AssertionError)
             28 RAISE_VARARGS            1
        >>   30 LOAD_CONST               0 (None)
             32 RETURN_VALUE

在 python 3.7 上这给出了

 36           0 LOAD_GLOBAL              0 (MyClass)
              2 CALL_FUNCTION            0
              4 STORE_FAST               0 (obj)

 37           6 LOAD_FAST                0 (obj)
              8 LOAD_METHOD              1 (randint)
             10 LOAD_CONST               1 (1)
             12 CALL_METHOD              1
             14 LOAD_FAST                0 (obj)
             16 LOAD_METHOD              1 (randint)
             18 LOAD_CONST               1 (1)
             20 CALL_METHOD              1
             22 COMPARE_OP               2 (==)
             24 POP_JUMP_IF_TRUE        30
             26 LOAD_GLOBAL              2 (AssertionError)
             28 RAISE_VARARGS            1
        >>   30 LOAD_CONST               0 (None)
             32 RETURN_VALUE

不同之处在于，在 3.6 上调用缓存的 randint 方法会产生 LOAD_ATTR, LOAD_CONST, CALL_FUNCTION 而在 3.7 上它会产生 LOAD_METHOD, LOAD_CONST, CALL_METHOD 。这可以解释行为上的差异，但我不了解 CPython (?) 的内部结构来理解它。有什么想法吗？

Answer 1

这是 Python 3.7.3 次要版本中的一个错误。它不存在于 Python 3.7.2 中，也不应存在于 Python 3.7.4 或 3.8.0 中。它被归档为 Python issue 36650 .

在 C 级别，不带关键字参数的调用和带空 **kwargs 字典的调用的处理方式不同。根据函数实现方式的细节，该函数可能会收到 kwargs 的 NULL 而不是空的 kwargs dict。 functools.lru_cache 的 C 加速器处理带有 NULL kwargs 的调用与带有空 kwargs dict 的调用不同，这导致了您在此处看到的错误。

使用您正在使用的方法缓存配方，第一次调用方法将始终将一个空的 kwargs dict 传递给 C 级 LRU 包装器，无论是否使用任何关键字参数，因为 return wrapped_func 中的 cached_method(*args, **kwargs)。后续调用可能会传递一个 NULL kwargs dict，因为它们不再通过 wrapped_func。这就是为什么您无法使用 test_memoization_kwarg_call 重现错误； 第一个 调用必须不传递任何关键字参数。