我有一个像这样的 Python 单调度通用函数:
@singledispatch
def cluster(documents, n_clusters=8, min_docs=None, depth=2):
...
它是这样重载的:
@cluster.register(QuerySet)
@lru_cache(maxsize=512)
def _(documents, *args, **kwargs):
...
第二个基本上预处理 QuerySet
对象并调用通用 cluster()
函数。
一个QuerySet is a Django object ,但这不应该在这里发挥作用;除此之外,它是可散列的,因此可以与 lru_cache
一起使用。
通用函数无法缓存,因为它接受不可散列的对象(例如列表)作为参数。但是,由于 QuerySet
对象是可散列的,因此可以缓存重载函数。这就是我添加 @lru_cache()
注释的原因。
但是,缓存似乎没有应用:
qs: QuerySet = [...]
start = datetime.now(); cluster(Document.objects.all()); print(datetime.now() - start)
0:00:02.629259
我希望在实例中发生相同的调用,但是:
start = datetime.now(); cluster(Document.objects.all()); print(datetime.now() - start)
0:00:02.468675
缓存统计信息证实了这一点:
cluster.registry[django.db.models.query.QuerySet].cache_info()
CacheInfo(hits=0, misses=2, maxsize=512, currsize=2)
更改 @lru_cache
和 @.register
注释的顺序似乎没有什么区别。
This question类似,但答案不适合单个功能级别。
是否有可能在这个级别上组合这两个注释?如果是这样,怎么办?
最佳答案
hash(Document.objects.all()) == hash(Document.objects.all())
与 Django QuerySet
不一致。
在评估返回的 QuerySet
之前,调用 Document.objects.all()
不会访问数据库。
Pickling is usually used as a precursor to caching
根据您的用例,您可以尝试缓存 QuerySet
的 pickle 或其 query
属性。
@cluster.register(bytes)
@lru_cache(maxsize=512)
def _(documents, *args, **kwargs):
documents = pickle.loads(documents)
...
cluster(pickle.dumps(Document.objects.all()))
或
cluster(pickle.dumps(Document.objects.all().query))
关于python - 如何结合@singledispatch和@lru_cache?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60415891/