hadoop - 通过 Hue 更新 HDFS 中的文件

标签 hadoop hdfs bigdata hue

我知道HDFS是一次写入多次读取类型。据我所知,不可能在 HDFS 中(随机地)更新文件,因为文件存储在分布式环境中(作为 block ),每个 block 都复制在其他节点上,这对于数据节点来说很难更新,即使是这些复制的 block .

但是,我的问题是可以使用 hue 工具更新 HDFS 中的文件吗?因为,我已经使用 hue 工具更新了许多文件(存储在 HDFS 中)并在其上运行了 map-reduce 作业。那么,hue怎么可能更新HDFS中的文件呢。 hue 是否在后台执行某些操作?通过 hue 进行的更新是否真的更新到同一个文件?或者 hue 删除文件并重新写入整个文件(包括我们要更新的新数据)?

最佳答案

Hue 删除并重新写入整个文件,因为 HDFS 不支持版本。您会注意到 Hue 目前将版本限制为仅小文件。

这是一篇博文,可以了解更多关于 HDFS Filebrowser 的信息.

关于hadoop - 通过 Hue 更新 HDFS 中的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28058447/

相关文章:

apache-spark - HDFS与带有YARN的HDFS的对比,如果我使用spark,可以放置新的资源管理吗?

java - 自定义 SortComparator 在 MapReduce wordcount 程序中不起作用

hadoop - 如何使用 hadoop 自定义输入格式调整 Spark 应用程序

hadoop - 如何使 hive 返回行更快? (例如,限制10)

hadoop - u0X目录在Hadoop集群中的作用是什么?

hadoop - spark如何写入HBASE

hadoop - Journalnode是否与Name Node分开可以实现Hadoop高可用性?

用于混合类型的Matlab数据结构-时间和空间效率如何?

c# - 使用条件将一次性大型 IEnumerable<T> 分成两半

hadoop - 如何在集群之间迁移数据?