hadoop - 通过 map reduce 中的 map 函数的文件

标签 hadoop mapreduce hadoop-partitioning

是否可以通过每个 map 函数以某种方式传递一组文件。要求是针对不同的 2 个操作并行处理每个文件。我是 map reduce 的新手,我使用 JAVA 作为我的编程语言。

最佳答案

如果你想获得相同的文件作为所有映射器的输入,只读访问,是的。您可以将文件从主(驱动程序)类添加到所谓的分布式缓存中。可以找到更多详细信息here .

关于hadoop - 通过 map reduce 中的 map 函数的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22076333/

相关文章:

hadoop - Spring Cloud Dataflow-http |卡夫卡和卡夫卡| hdfs-在HDFS中获取原始消息

java - 从作业中获取hadoop集群信息

java - Hadoop 给 reducer 带来了什么?

hadoop - combineFileInputFormat 中的 isSplitable 不起作用

optimization - 为 Hadoop 使用 GZip 输入文件时如何优化 S3 的读取性能

hadoop - 使用 loadfunc pig UDF 将 protobuf 格式文件加载到 pig 脚本中

hadoop - 如何运行mapreduce矩阵乘法示例

hadoop - 在生产环境中以本地模式运行 Hadoop

apache-spark - Hadoop Spark-存储在一个大文件中,而不是存储许多小文件和索引

java - 复合 key 正在更改,Hadoop Map-Reduce?