amazon-web-services - 在 Windows 8.1 上启动集群时无法识别 Spark-EC2

标签 amazon-web-services apache-spark amazon-ec2 spark-ec2

我是 Spark 的初学者。我尝试在 Amazon EC2 上运行 Spark,但我的系统无法识别“spark-ec2”或“./spark-ec2”。它说“spark-ec2”未被识别为内部或外部命令。

我按照指示here进行操作启动集群。我想使用 Scala,如何使其工作?

最佳答案

使用 boto 添加 PYTHON PATH 环境变量。 PYTHONPATH="${SPARK_EC2_DIR}/third_party/boto-2.4.1.zip/boto-2.4.1:$PYTHONPATH" 并执行python脚本

关于amazon-web-services - 在 Windows 8.1 上启动集群时无法识别 Spark-EC2,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29787016/

相关文章:

scala - 如何获取 RDD 的子集?

scala - 在 Scala/Spark 中合并两个表

scala - 如何命名聚合列?

amazon-ec2 - 错误 : Instance does not have a volume attached at root (/dev/sda1)

c# - 在 AWS 的单个 EC2 实例上部署多个 asp.net 应用程序

amazon-ec2 - 我应该使用 Amazon 的 AWS 虚拟私有(private)云 (VPC)

amazon-web-services - gradle-aws-plugin elasticbeanstalk 如何部署上传的版本

php - 尝试使用 aws php sdk 时未检索到客户端凭据

amazon-web-services - 在 CloudFormation 模板中,如何使用已部署的 EC2 实例的命令输出作为堆栈输出?

node.js - 使用Bitbucket Pipeline和AWS CodeDeploy自动部署Angular 4 App