python - 在 Python 中编译正则表达式

Question

我正在研究 Doug Hellman 的“The Python Standard Library by Example”并遇到了这个:

"1.3.2 编译表达式 re 包含用于将正则表达式作为文本字符串处理的模块级函数，但编译程序经常使用的表达式效率更高。”

我无法理解他对为什么会这样的解释。他说，“模块级函数维护编译表达式的缓存”，并且由于“缓存的大小”是有限的，“直接使用编译表达式可以避免缓存查找开销。”

如果有人可以解释或指导我解释，我可以更好地理解为什么编译程序经常使用的正则表达式更有效，以及这个过程实际上是如何工作的，我将不胜感激。

Answer 1

嗯。这很奇怪。到目前为止，我的知识(在其他来源中获得，from this question)表明了我的初步答案:

---

第一个答案

Python 会缓存您使用的最后 100 个正则表达式，因此即使您没有显式编译它们，也不必在每次使用时都重新编译它们。

但是，有两个缺点:当达到 100 个正则表达式的限制时，整个缓存将被破坏，因此如果连续使用 101 个不同的正则表达式，每次都会重新编译每个正则表达式。嗯，这不太可能，但仍然如此。

其次，为了查明一个正则表达式是否已经被编译，解释器每次都需要在缓存中查找正则表达式，这确实需要一点额外的时间(但不会太多，因为字典查找非常快)。

因此，如果您显式编译正则表达式，就可以避免这个额外的查找步骤。

---

更新

我刚刚做了一些测试(Python 3.3):

>>> import timeit
>>> timeit.timeit(setup="import re", stmt='''r=re.compile(r"\w+")\nfor i in range(10):\n r.search("  jkdhf  ")''')
18.547793477671938
>>> timeit.timeit(setup="import re", stmt='''for i in range(10):\n re.search(r"\w+","  jkdhf  ")''')
106.47892003890324

因此看起来没有进行任何缓存。也许这是 timeit.timeit() 运行的特殊条件的怪癖？

另一方面，在 Python 2.7 中，差异并不那么明显:

>>> import timeit
>>> timeit.timeit(setup="import re", stmt='''r=re.compile(r"\w+")\nfor i in range(10):\n r.search("  jkdhf  ")''')
7.248294908492429
>>> timeit.timeit(setup="import re", stmt='''for i in range(10):\n re.search(r"\w+","  jkdhf  ")''')
18.26713670282241