mysql - 配置单元 : why is metastore_db created in my project folder?

Question

我把hive-site.xml在我的 spark/conf dir 并将其配置为连接到 thrift://<user>:9083而且我没有使用 derby我有mysql-connector-jar在 hive/lib 文件夹中，每次我创建 hive 表和存储数据时，所有数据都存储在 metastore_db 中在我的项目目录中，而不是在我的 hdfs://<user>:9000/user/hive/warehouse 中，所以如果我删除 metastore_db 数据就会丢失。 conf/hive-site.xml

<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://saurab:3306/metastore_db?
        createDatabaseIfNotExist=true</value>
        <description>metadata is stored in a MySQL server</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>MySQL JDBC driver class</description>
    </property>

    <property>
        <name>hive.aux.jars.path</name>
        <value>/home/saurab/hadoopec/hive/lib/hive-serde-
       2.1.1.jar</value>
    </property>

    <property>
        <name>spark.sql.warehouse.dir</name>
        <value>hdfs://saurab:9000/user/hive/warehouse</value>
    </property>

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://saurab:9083</value>
        <description>URI for client to contact metastore 
        server</description>
    </property>

This是我的 thriftserver 日志。Mysql 服务器正在运行。那么为什么它仍在创建 metastore_db 并在那里存储数据。

Answer 1

我会说您已经在 Spark conf 文件夹上进行了这些更改，但没有在服务器上进行更改(至少不是全部)。 服务器日志上的通知: “metastore.MetaStoreDirectSql:使用直接SQL，底层DB是DERBY”

一种常见的做法是不复制 spark/conf 下的配置，而是从那里添加一个链接到/etc/hive/conf/hive-site.xml，以确保客户端和服务器使用相同的配置。

我的建议是首先正确设置服务器端(你也有端口冲突)，用 beeline 测试它，只有他们从 Spark 开始使用它