hadoop - 什么是无状态节点? Hadoop 节点如何是无状态的?

标签 hadoop hadoop2 hadoop-streaming hadoop-plugins

无状态节点是否意味着彼此独立?你能用 hadoop 解释一下这个概念吗

最佳答案

解释如下:每个映射器/缩减器都不知道所有其他映射器/缩减器(即关于它们的当前状态、它们的特定输出(如果有的话)等)。这种无状态对于某些数据处理工作负载(例如图形数据)来说不是很好,但可以轻松并行化(特定的 map/reduce 任务可以在任何节点上运行,这意味着失败的 mapper/reducer 不是问题,只需在相同的输入拆分/映射器的输出)。

关于hadoop - 什么是无状态节点? Hadoop 节点如何是无状态的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42066113/

相关文章:

java - 在 MapReduce 中,如何将数组列表作为值从映射器发送到 reducer

hadoop - Hive 中区分大小写的列名称

visual-studio-2010 - Hadoop-2.6.0 构建失败

ruby - Hadoop环境变量

没有输入文件的 Hadoop 流作业

hadoop - 如何获取特定配置单元查询的 cpu、内存和 IO 使用情况?

java - 配置单元/ElasticMapreduce : How bring JsonSerDe to ignore malformed JSON?

Hadoop HDFS : Trash location

apache-spark - 带有 Spark 1.6.1 Hadoop 2.7.2 的 Google Dataproc 中带有空记录的 Kinesis Stream

mysql - 从hadoop更新mysql记录