Hadoop 与 Web 应用程序的集成

标签 hadoop

我想通过给定的用户界面在 Hadoop 中使用用户选择的文件。应该采取什么方法,在网络中使用 Hadoop 是否是一个明智的决定

最佳答案

有两个问题——是否应该使用hadoop,以及如何使用hadoop。

  1. 您可以预期用户通过 Web 界面上传的典型文件比 hadoop 开始相关的数据大小小得多。

所以很可能hadoop不是这个场景的正确选择

  1. 如果没有更详细的日志,很难知道问题出在哪里。 但最常见的情况是,如果找不到的类是您的类(而不是基础结构类),则您需要将 jar 分发给所有 hadoop 任务。

一个简单的解决方案是在运行应用程序时使用 -libjars 参数

看到一个很好的解释here

关于Hadoop 与 Web 应用程序的集成,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21306848/

相关文章:

java - Java客户端中的HDFS INotify和Kerberos身份验证

hadoop - 浏览文件系统链接 - hadoop - 本地主机链接

java - map 缩小作业以继续播放

azure - Cloudera - 启动服务 - NameNode 未格式化

java - AWS 超时时来自 HTable 的 MapReduce 输入

hadoop - 访问正在写入的文件

NFS 上的 Hadoop 集群

java - 如何测试 HDFS I/O 吞吐量

scala - Spark 在多节点上将 Parquet 写入HDFS非常慢

hadoop - CorruptStatistics-使用Parquet文件时的警告消息