python - 在 'for in' 循环中访问迭代器

Question

据我了解，当运行如下代码时:

for i in MyObject:
    print(i)

MyObject 的 __iter__ 函数运行，for 循环使用它返回的迭代器来运行循环。

是否可以在循环中访问这个迭代器对象？它是一个隐藏的局部变量，还是类似的东西？

我想做以下事情:

for i in MyObject:
    blah = forloopiterator()
    modify_blah(blah)
    print(i)

我想这样做是因为我正在构建一个调试器，我需要在它被实例化后修改迭代器(在这个循环中添加一个要迭代的对象，执行中期)。我知道这是一个 hack，不应该按常规进行。直接修改 MyObject.items (这是迭代器迭代的内容)不起作用，因为迭代器只计算一次。所以我需要直接修改迭代器。

Answer 1

可以做您想做的事，只要您愿意依赖 Python 解释器(在我的例子中是 CPython 3.7)的多个未记录的内部结构——但它不是对你有好处。

---

迭代器不会暴露给 locals 或其他任何地方(甚至不会暴露给调试器)。但是as pointed out by Patrick Haugh ，您可以通过 get_referrers 间接获得它.例如:

for ref in gc.get_referrers(seq):
    if isinstance(ref, collections.abc.Iterator):
        break
else:
    raise RuntimeError('Oops')

当然，如果你有两个不同的迭代器指向同一个列表，我不知道你是否可以在它们之间做出决定，但让我们忽略这个问题。

---

现在，你要用它做什么？您在 seq 上有一个迭代器，然后……现在怎么办？您不能用有用的东西替换它，例如 itertools.chain(seq, [1, 2, 3])。没有用于改变列表、集合等迭代器的公共(public) API，更不用说任意迭代器了。

如果您碰巧知道它是一个列表迭代器……好吧，CPython 3.x listiterator 确实是可变的。它们被 pickle 的方式是创建一个空的迭代器并调用 __setstate__ 并引用一个列表和一个索引:

>>> print(ref.__reduce__())
(<function iter>, ([0, 1, 2, 3, 4, 5, 6, 7, 8, 9],), 7)
>>> ref.__setstate__(3) # resets the iterator to index 3 instead of 7
>>> ref.__reduce__()[1][0].append(10) # adds another value

但这有点傻，因为你可以通过改变原始列表来获得相同的效果。事实上:

>>> ref.__reduce__()[1][0] is seq
True

所以:

lst = list(range(10))
for elem in lst:
  print(elem, end=' ')
  if elem % 2:
    lst.append(elem * 2)
print()

... 将打印出:

0 1 2 3 4 5 6 7 8 9 2 6 10 14 18 

... 根本不需要使用迭代器。

---

你不能用集合做同样的事情。

在迭代过程中改变集合会影响迭代器，就像改变列表一样——但它的作用是不确定的。毕竟，集合具有任意顺序，只要您不添加或删除，就可以保证保持一致。如果在中间添加或删除会怎样？您可能会得到一个完全不同的顺序，这意味着您最终可能会重复已经迭代过的元素，而遗漏一些您从未见过的元素。 Python 暗示这在任何实现中都应该是非法的，而 CPython 实际上会检查它:

s = set(range(10))
for elem in s:
  print(elem, end=' ')
  if elem % 2:
    s.add(elem * 2)
print()

这将立即引发:

RuntimeError: Set changed size during iteration

那么，如果我们使用相同的技巧躲在 Python 的背后，找到 set_iterator 并尝试更改它，会发生什么情况？

s = {1, 2, 3}
for elem in s:
    print(elem)
    for ref in gc.get_referrers(seq):
        if isinstance(ref, collections.abc.Iterator):
            break
    else:
        raise RuntimeError('Oops')
    print(ref.__reduce__)

在这种情况下，您将看到类似的内容:

2
(<function iter>, ([1, 3],))
1
(<function iter>, ([3],))
3
(<function iter>, ([],))

换句话说，当您对 set_iterator 进行 pickle 时，它​​会创建一个包含剩余元素的列表，并返回指示以从该列表中构建一个新的列表迭代器。改变那个临时列表显然没有任何用处。

---

元组呢？显然你不能只改变元组本身，因为元组是不可变的。但是迭代器呢？

在幕后，在 CPython 中，tuple_iterator 与 listiterator 共享相同的结构和代码(您从在定义了 __len__ 和 __getitem__ 但不是 __iter__ 的“旧式序列”类型上调用 iter。因此，您可以使用完全相同的技巧来获取迭代器，并reduce`它。

但是一旦你这样做了，ref.__reduce__()[1][0] is seq 将再次为真——换句话说，它是一个元组，与你已经拥有的元组相同，并且仍然不可变。