java - 避免同一缓存区域的多次重新填充(由于并发)

Question

我有一个高流量的网站，我使用 hibernate 。我还使用 ehcache 来缓存生成页面所需的一些实体和查询。

问题是“并行缓存未命中”，详细的解释是当应用程序启动并且缓存区域很冷时，每个缓存区域都会被不同的线程填充多次(而不是只填充一次)，因为站点正在被命中同时被许多用户。此外，当某些缓存区域失效时，由于相同的原因，它会被多次重新填充。 我怎样才能避免这种情况？

我设法 convert 1 entity and 1 query cache to a BlockingCache通过向 hibernate.cache.provider_class 提供我自己的实现，但 BlockingCache 的语义似乎不起作用。更糟糕的是，有时 BlockingCache 会死锁(阻塞)并且应用程序会完全挂起。线程转储显示在获取操作时，处理在 BlockingCache 的互斥锁上被阻塞。

那么，问题来了，Hibernate 支持这种用法吗？

如果没有，您如何在生产中解决这个问题？

编辑:hibernate.cache.provider_class 指向我的自定义缓存提供程序，它是来自 SingletonEhCacheProvider 的复制粘贴在 start() 方法的末尾(第 136 行之后)，我执行以下操作:

Ehcache cache = manager.getEhcache("foo");
if (!(cache instanceof BlockingCache)) {
    manager.replaceCacheWithDecoratedCache(cache, new BlockingCache(cache));
}

这样在初始化时，在其他任何人接触名为“foo”的缓存之前，我用 BlockingCache 装饰它。 “foo”是查询缓存，“bar”(相同代码但省略)是 pojo 的实体缓存。

编辑 2:“似乎不起作用”意味着最初的问题仍然存在。由于并发性，缓存“foo”仍在多次使用相同的数据重新填充。我通过使用具有 10 个线程的 JMeter 对站点进行压力验证来验证这一点。我希望 9 个线程阻塞，直到第一个从“foo”请求数据以完成其工作(执行查询，将数据存储在缓存中)，然后直接从缓存中获取数据。

编辑 3:此问题的另一种解释可以在 中看到https://forum.hibernate.org/viewtopic.php?f=1&t=964391&start=0但没有确定的答案。

Answer 1

我不太确定，但是:

It allows concurrent read access to elements already in the cache. If the element is null, other reads will block until an element with the same key is put into the cache.

这是否意味着 Hibernate 会等到其他线程将对象放入缓存？这就是您观察到的，对吧？

Hib 和缓存是这样工作的:

1. Hib 得到一个对象的请求
2. Hib 检查对象是否在缓存中 -- cache.get()
3. 没有？ Hib从DB中加载对象并放入缓存——cache.put()

因此，如果对象不在缓存中(不是由之前的更新操作放在那里)，Hib 将永远等待 1)。

我认为您需要一个缓存变体，其中线程只等待一个对象很短的时间。例如。 100 毫秒。如果对象未到达，线程应该为空(因此 Hibernate 将从 DB 加载对象并将其放入缓存中)。

实际上，更好的逻辑是:

1. 检查另一个线程正在请求同一个对象
2. 如果为true，等待对象到达很长时间(500ms)
3. 如果不为真，立即返回null

(我们不能永远等待 2，因为线程可能无法将对象放入缓存 - 由于异常)。

如果 BlockingCache 不支持这种行为，你需要自己实现一个缓存。我过去做过，这并不难——主要方法是 get() 和 put()(尽管 API 显然从那以后有所发展)。

更新

其实我只是看了BlockingCache的源码。它完全按照我说的做——锁定并等待超时。因此，您无需执行任何操作，只需使用它...

public Element get(final Object key) throws RuntimeException, LockTimeoutException {
    Sync lock = getLockForKey(key);
    Element element;
        acquiredLockForKey(key, lock, LockType.WRITE);
        element = cache.get(key);
        if (element != null) {
            lock.unlock(LockType.WRITE);
        }
    return element;
}

public void put(Element element) {
    if (element == null) {
        return;
    }
    Object key = element.getObjectKey();
    Object value = element.getObjectValue();

    getLockForKey(key).lock(LockType.WRITE);
    try {
        if (value != null) {
            cache.put(element);
        } else {
            cache.remove(key);
        }
    } finally {
        getLockForKey(key).unlock(LockType.WRITE);
    }
}

所以它对你不起作用有点奇怪。告诉我一些事情:在你的代码中这个地方:

Ehcache cache = manager.getEhcache("foo");

是否同步？如果多个请求同时过来，是否只有一个缓存实例？