scala - 工作人员是否还需要为Spark安装Hadoop?

标签 scala hadoop apache-spark cluster-computing

我已经安装了scala,Hadoop和spark并成功启动了主节点。
我刚刚安装了scala和spark并且也启动了worker(slave)。因此,我感到困惑的是,是否也不应该在worker中为运行任务设置Haddop?

最佳答案

官方Apache Spark的This链接显示了如何配置Spark集群。 here清楚地解释了需求,即同时需要scala和hadoop。

关于scala - 工作人员是否还需要为Spark安装Hadoop?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36621500/

相关文章:

scala - 为什么在 foldLeft 的这个 Scala 实现中需要类型声明

hadoop - Gradle的Mapreduce hadoop错误

git - 使用git checkout 特定的Hadoop版本

scala - 没有IntelliJ中的错误,无法为Scala创建SparkSession

scala - Spark 数与拍摄和长度

使用即发即忘 Futures 进行 Scala 测试

scala - 是否有用于 GUI 的 Scala DSL?

scala - 如何指定具有独立类型参数的类匹配中引入的类型

oracle - 异常 : Job Failed with status:3 when copying data from Oracle to HDFS through sqoop2

hadoop - saveAsNewAPIHadoopFile 将字符编码更改为 UTF-8