ruby-on-rails-3 - Heroku Rails 排队 mongoid

Question

我需要处理一个包含 10,000 条记录的 csv 文件。每 100 条记录大约需要 4 秒，我对此很满意。
我希望能够将 10,000 条记录拆分为 100 个作业，这些作业将在服务器不忙时执行(无需订单)。

我正在使用heroku，如果可以的话，我很乐意将处理分发到几个节点。

这里的最佳实践是什么？如何处理mongo连接？如何拆分作业并创建将来运行的任务？

不需要完整的解决方案，只需要一些指导。

Answer 1

我和 Sergio 有同样的建议。尝试Sidekiq背景 worker gem 。有kiqstand使其与 Mongoid 一起使用的中间件。

可能的粗略草图:

# Gemfile
gem 'kiqstand'
gem 'sidekiq'


# Procfile
web: ...
worker: bundle exec sidekiq -e $RACK_ENV -C config/sidekiq.yml


# config/sidekiq.yml
#
# Configuration file for Sidekiq.
# Options here can still be overridden by cmd line args.
---
:verbose: false
:namespace: sidekiq
:concurrency: 25
:queues:
  - [often, 7]
  - [default, 5]
  - [seldom, 3]


# config/initializers/sidekiq.rb
Sidekiq.configure_server do |config|
  # Require kiqstand middleware
  config.server_middleware do |chain|
    chain.add Kiqstand::Middleware
  end
end

# app/workers/import_worker.rb
# The actual Sidekiq worker that performs the input
class ImportWorker
  include Sidekiq::Worker

  def perform(my_var)
    # processing the csv
  end
end  

Sidekiq 和 Kiqstand 应该处理 Mongoid Mongodb 连接。为了分割任务，您可以创建第二个工作人员来为第一个工作人员提供服务。由于发送到 ImportWorker.perform_async(my_var) 的参数将被序列化并存储在 Redis 中，因此它们应该很小，在您的情况下只是一个行引用左右。

希望能给大家一些指点。