hadoop - YARN作为SOA框架

标签 hadoop soa yarn

我们正在考虑在YARN上构建面向服务的体系结构。我们有不同的应用程序类型-有些可以像流模式(连接到正在运行的服务)在Storm中工作,有些可以在批处理模式(在每次请求均启动该应用程序时)使用。

此外,应用程序可能需要经常相互通信,这将需要YARN中不同应用程序之间的大量内部流量。我们还希望使用不同应用程序的缓存,因此,每当将具有相同数据的请求发送到同一应用程序时,我们都可以返回缓存的响应。

作为SOA框架的基础,YARN是好的还是坏的解决方案? Yarn只是一种类似于自动缩放/部署的工具,还是很适合SOA?用YARN这样做足够快吗?

最佳答案

我的看法是YARN正在将Hadoop形式从分布式文件系统推向分布式OS。有许多正在构建或迁移到YARN的SOA式基础结构(StormSamza),这些都吸引了servicehosts。您也可以连续地访问weave,这将帮助您托管其他类型的服务。

专门解决您的问题。 -YARN是SOA框架的良好基础,它不仅可以自动扩展,还可以作为资源管理和托管框架,并且速度足够快(尤其是如果使用的是基于它构建的已开发基础结构之一)

关于hadoop - YARN作为SOA框架,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18534652/

相关文章:

hadoop - AWS Athena 在分区加载后创建缩进并将值移动到错误的列中

Maven 无法解析依赖关系 spark

php - "Error Fetching http body"与 php SoapClient

apache-spark - 如何限制 Spark 作业失败的重试次数?

hadoop - Hadoop 3.3和oozie 5.2.0

apache-spark - 在YARN中启用CPU调度是否会真正改善Spark中的并行处理?

java - 来自 java 的异常 ": org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length"

hadoop - 使用数据验证合并 Hive 中的两个表

c# - 当需要多个处理程序时,选择最具体的处理程序

web-services - 什么是SOA(面向服务的架构)?