我们安装了新的 Spark 版本,因此所有文件夹的名称都类似于:
ls /etc/hadoop/
2.6.4.0-91 conf conf.backup
从 spark-submit
我们得到
spark-submit --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.2.0.2.6.4.0-91
/_/
我需要确定 spark 版本 - 2.6.4.0-91。我们可以做到:
ls /etc/hadoop/ | grep [0-9]
2.6.4.0-91
但这种方法不是很好(因为可能有其他带编号的文件夹名称等)
通过 spark-submit --version
我们得到了
version 2.2.0.2.6.4.0-91
虽然我们只需要版本 - 2.6.4.0-91,(没有 2.2.0)
任何想法如何获得版本 - 没有来自 spark-submit --version
的 (2.2.0)?
最佳答案
由于在linux机器上安装了hadoop,
作为:
rpm -qa |grep hadoop | grep client
hadoop_2_6_4_0_91-client-2.7.3.2.6.4.0-91.x86_64
然后我可以使用hdp-select命令来获取所需的HDP版本
hdp-select | grep hadoop-client | awk '{print $3}'
2.6.4.0-91
或:
hdp-select | grep hadoop-client
hadoop-client - 2.6.4.0-91
关于hadoop - 通过Spark获取HDP版本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48365558/