apache-spark - Spark 安装 : spark-2. 0.0-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录

Question

你能指导我在我的本地机器上升级我的 spark 版本吗？我想在 hadoop 2.7 上运行 hive 1.2.1(mysql 中的 metastore)。

我使用的是旧的 spark 1.5 版，想升级到较新的 2.0 版。我已经下载了二进制文件“spark-2.0.0-bin-hadoop2.7.tgz”并对其进行了压缩。

我在spark-env中添加了- HADOOP_HOME, HADOOP_CONF_DIR。 SPARK_CLASSPATH 指向 mysql-connector jar 文件。在 spark-default 中添加了 spark.sql.warehouse.dir、spark.sql.hive.metastore.version 和 spark.sql.hive.metastore.jars.

我已经修改了.bashrc 文件。当我启动配置单元时，我收到以下消息:

cannot access /opt/spark-2.0.0-bin-hadoop2.7/lib/spark-assembly-*.jar: 
No such file or directory

自二进制版本以来，我没有构建 spark。但是，我的旧版本有 spark-assembly jar 文件，但在 spark2.0 jar 目录中不能相同。我需要这个 jar 文件吗？

我已将 `hive-site.xml 复制到 conf 目录。 此外，在 pyspark 中运行 sql 查询会引发以下错误:

Database at /home/revathy/metastore_db has an incompatible 
format with the current version of the software.  The database 
was created by or upgraded by version 10.11.

我的 Metastore 版本是 1.2.1(并且在 spark-default 中指定)

无法找到有关在 spark 2.0 上连接 hive metastore 的详细信息
有人可以帮忙吗。从 pyspark，我能够读取 hadoop 中的文件，并且 Hive 工作正常(在 cli 中检查)。

请提供有关在 spark 上配置 hive metastore(mysql) 的链接/详细信息。

Answer 1

去

$HIVE_HOME/bin/hive 

注释如下

# add Spark assembly jar to the classpath
#if [[ -n "$SPARK_HOME" ]]
#then
#  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
#  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
#fi

到此为止。