apache-spark - 不同端口上的 Spark Thrift 服务器

标签 apache-spark apache-spark-sql

我正在尝试在不同的端口上运行 Spark thrift 服务器,比如 12000。我引用了 Spark sql 文档和其他 url,但仍然无法在不同的端口上运行 Spark thrift 服务器。它无法在端口 10000 上运行,因为它正在被使用 hive 。
我也提到了https://github.com/abhibasu/sparksql/wiki/SparkSQL-Configuration-in-CDH-5.3并进行了更改。
尝试从 Spark_home/sbin> export HIVE_SERVER2_THRIFT_PORT=12000 启动 Spark thrift
Spark_home/sbin> ./start-thriftserver.sh

日志文件显示以下错误。
错误 thrift.ThriftCLIService: 错误:
org.apache.thrift.transport.TTransportException:无法在地址 0.0.0.0/0.0.0.0:12000 上创建 ServerSocket。

环境:CDH5.3.3、SPark 1.2.0、Hive 0.13.1
谢谢,
阿比

最佳答案

尝试这个:

./start-thriftserver.sh --hiveconf hive.server2.thrift.port=9999

如果您在 Yarn 上运行:
./start-thriftserver.sh --master yarn --conf spark.ui.port=4049 --executor-memory 500M --num-executors 5 --driver-memory 1024M --hiveconf hive.server2.thrift.port=9999

您可以使用 --hiveconf 提供 hive conf 作为属性键值

关于apache-spark - 不同端口上的 Spark Thrift 服务器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29684617/

相关文章:

apache-spark - 如何将流数据集转换为 DStream?

java - 如何使用自定义属性初始化 SparkContext?

apache-spark - 我的 Spark 的 Worker 无法连接 Master。Akka 有问题吗?

amazon-s3 - 在 S3 上以 Parquet 格式保存 >>25T SchemaRDD

apache-spark - Spark yarn cluster vs client - 如何选择使用哪一个?

mysql - 如何高效地将 MySQL 表读入 Apache Spark/PySpark?

apache-spark - 如何避免连接中键列名称重复?

apache-spark - 在 Spark 中合并等分区数据帧

apache-spark - 删除每个分区的重复项

apache-spark - Spark 故障 : Caused by: org. apache.spark.shuffle.FetchFailedException:框架太大:5454002341