我们构建了第一个版本的服务，需要接收图像和 pdf 文件，然后对每个文件进行大量处理，并为我们构建的网络和移动客户端提供几个调整大小的变体。
在处理方面，我们执行:
- 9 种适用于网络和移动设备的图片尺寸变体
- 300dpi 图像的平铺(a-la map 平铺)
- 5 个图像处理和机器学习/标记过程
在连续运行完整管道测试时，处理大约 120 张图像大约需要 18 分钟。
我们正在努力大幅缩短该时间。当然，一件事是并行进行各种处理，只有少数依赖关系，例如，在生成几个关键变体之前，我们无法处理图像处理/机器学习步骤。
从架构的角度来看，我们希望从我们的网络层卸载所有处理，但也需要将图像提供给网络/移动客户端。我们一直在研究用于并行化事物的 openmpi、hadoop、zeromq，以及用于解决存储/规模问题的 hdfs、gluster、luster。
寻找可以拼接在一起的任何引用架构或工具，以便我们可以逐步改进我们的设置。
最佳答案
那么您对这 120 张图像使用了哪些图像和 PDF 处理工具？!？ (您可以围绕 [存储]、[hadoop] 和 [openmpi] 考虑和计划您想要的一切——除非您的图像和 PDF 处理工具足够快，否则您的瓶颈将在那里找到。)
关于image-processing - Web 应用程序中大型图像处理/服务的引用架构是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11587135/