我想通过给定的用户界面在 Hadoop 中使用用户选择的文件。应该采取什么方法,在网络中使用 Hadoop 是否是一个明智的决定
最佳答案
有两个问题——是否应该使用hadoop,以及如何使用hadoop。
- 您可以预期用户通过 Web 界面上传的典型文件比 hadoop 开始相关的数据大小小得多。
所以很可能hadoop不是这个场景的正确选择
- 如果没有更详细的日志,很难知道问题出在哪里。 但最常见的情况是,如果找不到的类是您的类(而不是基础结构类),则您需要将 jar 分发给所有 hadoop 任务。
一个简单的解决方案是在运行应用程序时使用 -libjars 参数
看到一个很好的解释here
关于Hadoop 与 Web 应用程序的集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21306848/