hadoop - 在级联中设置 reducer 类型

标签 hadoop cascading

您如何在级联中为HadoopFlowConnector输出设置不同类型的化简器?在所有教程中,我们仅看到使用默认的TextDelimited。

最佳答案

我在这里使用的术语reducer和output有点困惑。如果您在级联下沉输出时问您还有什么可以代替TextDelimited的,那么我可以说:TextDelimited是级联中的Scheme的一种,还提供了SequenceFile,TextLine,AvroScheme等其他方案。您可以根据自己的数据和要求使用一个。通过使用这些方案中的任何一种,您都可以点击并连接输出的尾部。

关于hadoop - 在级联中设置 reducer 类型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45611688/

相关文章:

mysql - 删除时外键约束一对多表,更新级联规则

python - 在 Amazon EMR 上为 Pig UDF 加载我自己的 python 模块

hadoop - 修改hadoop conf目录下的xml配置文件后需要重启hadoop吗?

hadoop - Ganglia dfs.namenode.fileinfoops中的Hadoop指标。它代表什么?

hadoop - 级联框架与 Talend 等 ETL 工具

hadoop - 如何在 jpmml 级联中传递 Hadoop 作业队列名称?

hadoop - 如何在MapReduce 框架中编写JOB1 和JOB2 之间的顺序代码?

hadoop - 如何以 Unix 用户身份运行 Apache Airflow DAG

hadoop - 如何计算级联中输出元组的数量

hadoop - 不耐烦的第 1 部分 gradle 公会的级联失败