我通过 pip install pyspark 安装了 pyspark 3.2.0。我在名为 pyspark 的 conda 环境中安装了 pyspark。我找不到 spark-defaults.conf。我正在 ~/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark 中搜索它，因为这是我对 SPARK_HOME 应该是什么的理解。
- 我在哪里可以找到 spark-defaults.conf？我要修改
- 我将 SPARK_HOME 设置为 pyspark
~/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark的安装位置是否正确？
最佳答案
2。 SPARK_HOME 环境变量配置正确。
1。在pip安装环境中，需要手动创建$SPARK_HOME/conf目录，然后将配置文件模板复制到该目录下，修改各个配置文件。
关于apache-spark - 如果我通过 pip install pyspark 安装了 pyspark，在哪里修改 spark-defaults.conf，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/70253784/