java - Hadoop 字数统计 MapReduce 教程 已弃用

标签 java hadoop

我已经使用Python Hadoop Streaming做了一些工作,我认为如果我学习Java并开始学习用Java编写Mapreduce并且更好地理解hadoop代码库将会更有帮助。

我想运行字数统计示例并逐步浏览每一行来学习它。然而,我设置了 Eclipse 和 Maven,最后我让所有的红色错误都消失了,但毕竟,在我面前的只是一段不推荐使用的代码。

(1)。我是否只是在浪费时间去学习一些不会很快生效的东西?

(2)。是否可以使用 Eclipse 逐步执行完整的 MapReduce,以便您可以很好地了解每一步之后发生的情况?我不是 Java 程序员,但我 100% 投入并想学好它。谁能指出我学习它的正确方向?调试?朱尼特?

enter image description here

最佳答案

首先,学习Java和MapReduce将有助于更深入地了解MapReduce的工作原理。 您使用的 Hadoop 版本可能是高版本,旧的 MapReduce API 已弃用,鼓励使用新的 API。

如果你想了解 MR 是如何工作的,你可以使用远程调试,打开 DEBUG 级别日志,使用相关的 JUnit 测试类,深入研究源代码。

很高兴了解 MR 的工作原理。

关于java - Hadoop 字数统计 MapReduce 教程 已弃用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20792528/

相关文章:

java - 在 Spring 框架中使用 WebClient 进行 REST 调用时出错

hadoop - 在运行映射作业时,根据请求杀死了容器

Java 将通用链表转换为通用数组

Java 内存中即时类编译(和加载)

hadoop - 当我使用 aws 凭证时出现 Distcp 重试错误

java - MapReduce到Spark

java - Sqoop2 找不到 AuditLoggerManager

xml - 从横向 View 的结果创建 Hive 外部表

java - 如何在Java正则表达式中分割这个字符串?

java - 如何在RSA中加密?