标签 apache-spark
我有 spark.cores.max设置为 24 [3 个工作节点]，但是如果我进入我的工作节点并看到只有一个进程 [command = Java] 正在运行，消耗内存和 CPU。我怀疑它没有使用所有 8 个内核(在 m2.4x large 上)。
怎么知道号码？
最佳答案
您可以在 Spark Web UI 下看到集群中每个 worker 占用的内核数:
关于apache-spark - 如何查看 Spark 使用的核心数？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25772263/
相关文章：
hadoop - Spark/Hadoop - 无法使用服务器端加密保存到 s3
apache-spark - DynamoDB数据格式以使用Spark计划JSON
hadoop - 尝试从hdfs读取文件时Apache Spark错误(输入路径不存在)
java - MapReduce 程序中的洗牌步骤是否与映射并行运行？
java - Apache Spark 找不到 CSVReader 类
java - 检索 Java 数组中的 DataFrame 值
python - 在 Python/PySpark 中 Spark 复制数据框列的最佳实践？
python - org.apache.spark.SparkException : Unseen label with TrainValidationSplit