java - 包含 Spark 以避免巨大的依赖关系

Question

我想在我的项目中包含 Spark sql。但是，如果这样做，jar 文件会变得巨大(超过 120 MB)，因为 Maven 包含大量依赖项。

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.1.0</version>
</dependency>

有没有办法最小化包含的依赖项？

Answer 1

取决于您的用例。默认情况下，maven在uber jar中包含spark-sql的所有依赖项。根据您的情况，您可能不会全部使用。因此您可以将它们从您的依赖关系中排除。

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.1.0</version>
    <exclusions>
        <!-- to remove jackson-databind from your uber jar -->
        <exclusion>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
        </exclusions>
    </exclusions>
</dependency>

但是如果您的应用程序使用了 Spark-sql 的大部分功能，这对您没有帮助。

在许多情况下，spark 依赖项将由您要运行应用程序的环境提供(独立模式除外)。在这种情况下，您可以将 Spark-sql 依赖项标记为提供的依赖项，如下所示，

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.1.0</version>
    <scope>provided</scope>
</dependency>