hadoop - 不支持的操作异常 : Not implemented by the KosmosFileSystem FileSystem implementation

标签 hadoop mapreduce hadoop-yarn

我想知道您对为什么会发生此错误的意见。在陆上生产环境中,我们使用 CDH4。在我们的本地测试环境中,我们只使用 Apache Hadoop v2.2.0。当我运行在 CDH4 上编译的同一个 jar 时,MR 作业执行得很好。但是当我在 Hadoop v2.2.0(启用 YARN)上运行 jar 时,我得到这个错误:

INFO mapreduce.Job:任务 ID:attempt_1391062333435_0001_m_000000_0,状态:失败 错误:java.lang.UnsupportedOperationException:KosmosFileSystem 文件系统实现未实现

日志显示 Map 作业成功运行,但 Reduce 作业 - 所有这些都失败了 - 并出现上述错误。 Google 上关于此错误的点击率不高,所以除了这里我无处可逃。

有什么想法吗?谢谢。

最佳答案

很抱歉回复晚了。 当我们将我们的环境与陆上环境同步时,这个问题就解决了。也就是说,我们没有使用普通的 Apache Hadoop,而是使用了 Cloudera 发行版。

关于hadoop - 不支持的操作异常 : Not implemented by the KosmosFileSystem FileSystem implementation,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21451208/

相关文章:

hadoop - 如果没有在hdfs-site.xml中定义,namenode和datanode安装在哪里?

hadoop - 如何防止由于 reduce task 失败而导致 hadoop 失败

javascript - Spark 中的Python mapraduce

python - 具有二进制可执行文件的 Hadoop/Elastic Map Reduce?

hadoop - 在EMR上修改 yarn 配置

hadoop - map 减少概念

hadoop - 与 apache pig latin 中的 GROUP 相对?

hadoop - 如何从 SparkContext 连接 Apache Spark 和 Yarn?

hadoop - 使用 yarn 的 hive 问题

hadoop - org.apache.hive.com.esotericsoftware.kryo.KryoException : Encountered unregistered class ID: 21