我有2个从属节点小型集群hadoop系统，并尝试对其进行一些测试。 系统已使用hadoop 2.6.0成功配置，并且我已经在上完成了WordCount测试。除WordCount之外，还有其他良好的测试示例吗？ (也许更实际的测试处理更大的数据)使用开源代码？我已经从google搜索中看到了大多数示例，但是hadoop版本太旧了，或者没有源代码可以对其进行测试。我喜欢一个:尽管Hadoop版本已经过时，但可以使用WikiHadoop使用Hadoop分析完整的Wikipedia转储文件。如果有人知道有更新的版本，那就太好了(任何类似的版本都会很不错)... TIA!
最佳答案
我正在一个项目中举例说明Hadoop MapReduce框架中的不同功能。它仍在进行中，但是使用现代API(Java和Hadoop)的WordCount作业有不同版本。
它包括用于生成测试输入文件的工具。但是，只需进行少量更改，您就可以使用它来处理自己的测试文件。就像修改映射器中的跟随线以使用空格或逗号分隔一样。
String[] words = line.split("\t");
https://github.com/lalosam/HadoopInExamples
关于hadoop - hadoop 2.6.0测试样本。，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32725076/