java - Hadoop HDFS问题

Closed. This question needs to be more focused。它当前不接受答案。

想改善这个问题吗？更新问题，使其仅关注editing this post一个问题。

7年前关闭。

Improve this question

例如，我有2个数据节点和复制2。当我执行“hadoop dfs -put test.log输入”将文件存储到HDFS时，该文件如何存储在Hadoop集群中？它是否分布在整个群集上并存储在两个数据节点服务器上？

另外，当我执行某些操作(例如单词计数“hadoop -jar word count.jar输入输出”)时，整个过程是什么样的？ Jobtracker将要求2个任务跟踪器并行执行，然后将输出存储到HDFS中？

我是否可以认为第一种情况与namenode / datanode有关，第二种情况与作业跟踪器/任务跟踪器有关？

最佳答案

For example, I have 2 datanodes and replication 2. When I do "hadoop dfs -put test.log input" that store a file into the HDFS, how is this file stored in the Hadoop Cluster? Is it spread over the whole cluster and stored on both two datanode servers?

当您执行hadoop dfs -put test.log输入时，文件 test.log 将存储在名为输入的目录中。流程在这里，
根据文件的大小和您的块大小，文件将首先被分成和小块，称为块。默认块大小为 64MB ，但是它是可配置的。现在，在NameNode的帮助下，客户端将知道哪些所有DataNode具有可用空间来容纳数据。完成此操作后，客户端将开始逐块将数据推送到最近的DataNode，然后根据您的复制因子将其转发到其他DataNode。
是的，文件将在两台计算机上传播。请记住，Hadoop是分布式系统，其中和分开的计算机作为一个系统共同工作。请参阅下面显示的图表，以更好地理解:

Also, When I do some operation such as word count "hadoop -jar word count.jar input output", what does the whole process look like? The jobtracker will ask 2 task trackers to execute parallel and then store the output into HDFS?

MapReduce执行的流程是这样的，
您将作业提交给JobTracker。 JobTracker指示在要处理数据的机器上运行的TaskTrackers(连续运行)，从而无需在任何地方移动数据就可以在此处开始处理。如果您要处理的文件分布在n个节点上，则在所有这n个节点上运行的TaskTracker将并行开始处理。在您的情况下，n为2。请参阅this以了解完整的过程。

Could I think that the first case is related to the namenode/datanode and the second case is related to the job tracker/task tracker?

没有什么可考虑的。这就是真正发生的事情:)
高温超导

关于java - Hadoop HDFS问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17660968/

上一篇：hadoop - YARN如何处理名称节点故障

下一篇：hadoop - Apache pig vs hive

相关文章：

java - 如何强制Android重新读取GPS位置？

java - 命名方法a、b、c等

hadoop - Pig 输出位置验证失败

尽管安装了最新版本，Hadoop 仍显示旧版本

python - MapReduce:加入数据文件并汇总信息

java - 通过dom4j解析xml文件

java - Eclipse 没有将库的私有(private)成员名称与附加源链接起来

hadoop - 通过Spark获取HDP版本

python - 使用子进程启动 hadoop 作业但无法从标准输出获取日志

algorithm - 非不相交集之间的高效交集操作