hadoop - hadoop复制不起作用

标签 hadoop mapreduce

我已经为hadoop设置了3个服务器集群。
我面临的问题是,即使复制因子为1.i,我的数据和输出都正在所有节点上复制。我尝试了复制因子1、2和3,它们都给我相同的结果。
我相信我的复制属性无法正常工作。
这是我使用的属性:

<property>
         <name>dfs.replication</name>
          <value>1</value>
</property>

请建议我该怎么办

最佳答案

  • 检查此值是否实际上在hdfs-site.xml中
  • 重新启动名称节点和数据节点
  • 使用setrep命令设置现有文件的复制因子
  • 运行balancer
  • 阅读本站点的规则,以避免在以后的
  • 中出现此类问题

    关于hadoop - hadoop复制不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23948016/

    相关文章:

    hadoop - 如何在Hive中将字段转换为时间戳

    scala - 如何在 Apache Flink 中对 GroupedDataSet 上的函数进行平面映射

    logging - hadoop 2.2.0事件namenode会删除编辑日志吗?

    java - 没有映射器的 MapReduce 作业

    hadoop - 在 Tez 和 Map reduce 中运行 "count(*) "时的行为差异

    Hadoop Mapreduce MultipleOutputs 输出控制台

    hadoop - 如何解决在Windows 10中的Eclipse中执行map-reduce java代码时遇到的问题?

    hadoop - Hive Server 2 节俭客户端错误 : Required field 'operationHandle' is unset

    java - hadoop 当前租户正在尝试重新创建文件

    hadoop - 使用 MapReduce 编程模型比较两个大型数据集