php - PHP (CakePHP) 中的异步处理或消息队列

标签 php multithreading cakephp asynchronous message-queue

我正在使用 CakePHP 构建一个网站,该网站处理通过 XML-RPC API 和 Web 前端上传的文件。文件需要被 ClamAV 扫描,需要生成缩略图等等。所有需要一些时间的资源密集型工作,用户不必等待。所以,我正在研究一般的 PHP 异步处理,特别是 CakePHP。

我遇到了MultiTask plugin对于看起来很有希望的 CakePHP。我还遇到了各种消息队列实现,例如 droprbeanstalkd .当然,我还需要某种后台进程,可能使用某种 Cake Shell 来实现。我看到 MultiTask 使用 PHP_Fork实现一个多线程的 PHP 守护进程。

我需要一些关于如何以最佳方式将所有这些部分组合在一起的建议。

  • 用 PHP 编写一个长期运行的守护进程是个好主意吗?我应该注意什么?
  • 外部消息队列实现的优势是什么? MultiTask 插件不使用外部消息队列。它使用 MySQL 表来存储任务。
  • 我应该使用什么消息队列?滴管? bean 茎?还有什么?
  • 我应该如何实现后端处理器? fork PHP 守护进程是个好主意还是只是自找麻烦?

我目前的计划是使用 MultiTask 插件或编辑它以使用 beanstald 而不是它自己的 MySQL 表实现。队列中的作业可以简单地由一个任务名称和一组参数组成。 PHP 守护进程将监视传入的作业并将它们传递给它的一个子线程。只需使用给定的参数执行 CakePHP 任务。

对此有何意见、建议、评论、陷阱或抨击?

最佳答案

我使用 BeanstalkD 取得了优异的成绩和一个用 PHP 编写的后端来检索作业,然后对它们采取行动。我将实际运行的作业包装在一个 bash 脚本中,即使它退出也能继续运行(除非我执行 'exit(UNIQNUM);',当脚本检查它并实际退出时) .这样,重新启动的 PHP 脚本会清除所有可能已使用的内存,并且可以每运行 25/50/100 个作业重新启动。

使用它的几个优点是您可以在 BeanstalkD 作业中设置优先级和延迟 - “以较低的优先级运行它,但不要在 10 秒内开始”。有时我也将一些作业排队(现在运行,5 秒后运行,30 秒后再次运行)。

通过适当的网络配置(并在网络其余部分可访问的 IP 地址上运行它),您还可以在一台服务器上运行 beanstalkd 守护程序,并从许多其他机器轮询它,所以如果有正在生成大量任务,可以在服务器之间拆分工作。如果需要在特定机器上运行一组特定的任务,我创建了一个“管”,它是该机器的主机名,如果不是全局的,它在我们的集群中应该是唯一的(对于文件上传很有用)。我发现它非常适合调整图像大小,通常会在引用它的网页本身引用它将到达的 URL 之前将完成的较小图像返回到文件系统。

我实际上即将开始为我的博客写一系列关于这个主题的文章(包括一些我已经推送了数百万个实时请求的代码技术)- 我的 URL 链接 self 的 user profile在这里,在 Stackoverflow 上。

(我写了一篇 series of articles 关于 Beanstalkd 和作业排队的主题)

关于php - PHP (CakePHP) 中的异步处理或消息队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/909791/

相关文章:

PHP (Codeigniter) 和 ajax 帮助

php - 使用 PHP/MySQL 使用 Date_Format 函数插入

c# - 无法在设置某些类属性的方法中进行线程化

php - CakeDC 用户插件 : How can i install cakedc users plugin, 我已经阅读了文档

CakePHP hasOne/belongsTo 模型关系

php - 使用编码为 UTF-8 的 PDFTk 填充的 pdf 中缺少字符

php - Wordpress 索引文件 css 类覆盖子模板 style.css

Linux 2.6.31 调度程序和多线程作业

c++ - C++ 11 原子对象的执行也是原子的吗?

php - 在 CAKEPHP 3.X 的 webroot 路径中配置开发和生产环境