我正在运行 Spark 作业:
spark-submit --master spark://ai-grisnodedev1:7077 --verbose --conf spark.driver.port=40065 --driver-memory 4g
--jars /opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar
--conf spark.driver.extraClassPath=/opt/seqr/.conda/envs/py37/lib/python3.7/site-packages/hail/hail-all-spark.jar
--conf spark.executor.extraClassPath=./hail-all-spark.jar ./hail_scripts/v02/convert_vcf_to_hail.py ./hgmd_pro_2019.4_hg38.vcf -ht
--genome-version 38 --output ./hgmd_pro_2019.4_hg38.ht
该命令给出了一个错误:
Invalid maximum heap size: -Xmx4g --jars Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit.
我检查了内存:
所以,看起来还不错。我检查了java
:
(py37) -bash-4.2$ java -version
openjdk version "1.8.0_232"
OpenJDK Runtime Environment (build 1.8.0_232-b09)
OpenJDK 64-Bit Server VM (build 25.232-b09, mixed mode)
然后我在 Chrome
中检查了 spark
是否在 ai-grisnodedev1:7077
上运行,并且只有一个工作人员运行。如果我使用 ipython,我可以在 https://hail.is/docs/0.2/getting_started.html 运行简单的 install
示例。 :
import hail as hl
mt = hl.balding_nichols_model(n_populations=3, n_samples=50, n_variants=100)
mt.count()
因此,依赖于 Spark
的 Hail
也能正常工作。也许我的命令格式错误或某些文件已损坏?但是该错误非常具有误导性。我可以做什么来尝试调试这个问题?
最佳答案
我也遇到这个问题了。无论如何,我使用的是pySpark
。
对我来说,这是 spark.executor.memory
接受的问题,例如16gb
,而spark.driver.memory
只接受16g
->g<中的b strong>b 导致了错误(说实话有点不直观)。
关于java - Spark 提交错误 : Invalid maximum heap size: -Xmx4g --jars, 但系统上有足够的内存,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60160477/