Solu:我把参数 driver-memory 40G 放在 spark-submit 中。
问题:我的 Spark 集群由 5 个 ubuntu 服务器组成,每个服务器有 80G 内存和 24 个内核。
word2vec 大约是 10G 新闻数据。
我以这样的独立模式提交作业:
spark-submit --name trainNewsdata --class Word2Vec.trainNewsData --master spark://master:7077 --executor-memory 70G --total-executor-cores 96 sogou.jar hdfs://master:9000/user/bd/newsdata/* hdfs://master:9000/user/bd/word2vecModel_newsdata
当我在 spark 中训练 word2vec 模型时,我出现了:
线程“main”中的异常 java.lang.OutOfMemoryError: Java heap space,
我不知道如何解决它,请帮助我:)
最佳答案
我把params driver-memory 40G放在spark-submit中,然后解决。
关于apache-spark - 如何解决java.lang.OutOfMemoryError : Java heap space when train word2vec model in Spark?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34262866/