我是 pyspark 的新用户。 我刚刚下载并安装了一个 spark 集群(“spark-2.0.2-bin-hadoop2.7.tgz”) 安装后我想访问文件系统(将本地文件上传到集群)。但是当我尝试在命令中输入 hadoop 或 hdfs 时，它会说“找不到命令”。
我要安装 hadoop/HDFS(我以为它内置在 spark 中，我不明白)？
提前致谢。
最佳答案
您必须先安装 hadoop 才能访问 HDFS。 关注这个http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
从 apache 站点选择最新版本的 hadoop。 完成 hadoop 设置后，转到 spark http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz下载这个，提取文件。在 spark-env.sh 中设置 java_home 和 hadoop_home。
关于hadoop - 已安装 Spark 但未找到命令 'hdfs' 或 'hadoop'，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40654869/