java - 如何在Hadoop配置中设置对象

标签 java hadoop mapreduce hdfs

我正在尝试在Configuration中设置一个对象
conf.set("test",myobject)
但是它不存在。

如何在Configuration中设置对象并在Mapper中检索相同的对象值?

最佳答案

您不能直接在hadoop配置中设置对象。您需要序列化对象,将其转换为字符串,然后在hadoop配置对象中进行设置。只有这样,您才能使映射器可以使用它。

此自定义配置已在此处讨论。 custom hadoop configuration

关于java - 如何在Hadoop配置中设置对象,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20833444/

相关文章:

hadoop - 如何*真正*从 hdfs 回收磁盘空间

hadoop - 如果我只有一个工作节点,处理文件需要多长时间?

image - 将图像存储在 HBASE 中以供处理和快速访问

hadoop - BigTable 可以做OLAP 吗?

Java程序在同一个try and catch中查找以下网站的IP地址: Facebook , google , yahoo

hadoop - 如何运行从 hdfs 到 s3 的加密 distcp?

java - 在java中向不同元素添加大量监听器的正确方法是什么?

hadoop - 添加对 scalding 的 parquet-avro 支持

java - 使用 Lettuce 为 Redis master/slave 配置 Spring Data Redis

java - 如何用java计算pdf文件中的字母数量