ruby-on-rails - 使用 sidekiq 只执行众多重复作业之一？

Question

我有一个后台作业，在 MongoDB 上执行映射/归约作业。当用户向文档发送更多数据时，它会启动在文档上运行的后台作业。如果用户发送多个请求，它将启动同一文档的多个后台作业，但实际上只有一个需要运行。有没有办法可以防止多个重复实例？我正在考虑为每个文档创建一个队列，并确保在提交新作业之前它是空的。或者也许我可以以某种方式设置一个与我的文档 ID 相同的作业 ID，并在提交之前检查是否不存在？

另外，我刚刚发现了一个 sidekiq-unique-jobs gem 。但文档不存在。这符合我的要求吗？

Answer 1

我最初的建议是针对此特定作业使用互斥锁。但由于您可能有多个应用程序服务器来处理 sidekiq 作业，因此我建议在 Redis 级别进行一些操作。

例如，使用 redis-semaphore在你的 sidekiq worker 定义中。 未经测试的示例:

def perform
  s = Redis::Semaphore.new(:map_reduce_semaphore, connection: "localhost")

  # verify that this sidekiq worker is the first to reach this semaphore.
  unless s.locked?

    # auto-unlocks in 90 seconds. set to what is reasonable for your worker.
    s.lock(90)
    your_map_reduce()
    s.unlock
  end
end

def your_map_reduce
  # ...
end