Maven 从依赖 jar 导入 avro 定义

标签 maven avro avro-tools

我有两个使用 avro-maven-plugin 进行代码生成的 Maven 项目。我面临的问题 其中一个项目有一个 avro 对象,该对象使用对另一个 avro 对象的引用 第二个Maven项目。尽管我将第二个项目生成的 jar 包含为 Maven 依赖项,但我无法找到为第二个项目生成代码的方法。

本质上考虑我的第二个项目具有如下所示的 avro 定义的情况

{
  "namespace": "my.second.project.avro",
  "name": "listNode",
  "type": "record",
  "fields":[
        {
            "name":"eventList",
            "type":{
                "type": "array",  
                "items": "my.first.project.AvroDefinition.avsc"
            }
         }
    ] 
}

在此定义中,它引用 AvroDefinition.avsc,它包含在依赖项 jar 之一中, 但我找不到任何方法来提取 AvroDefinition.avsc 并将其用于代码生成 第二个项目。 顺便说一句,avro-maven-plugin 已设置如下:

   <plugin>
        <groupId>org.apache.avro</groupId>
        <artifactId>avro-maven-plugin</artifactId>
        <version>1.9.1</version>
        <executions>
            <execution>
                <phase>generate-sources</phase>
                <goals>
                    <goal>schema</goal>
                    <goal>protocol</goal>
                    <goal>idl-protocol</goal>
                </goals>
                <configuration>
                    <imports>
                        <import>${project.basedir}/src/main/avro/include/</import>
                    </imports>
                    <sourceDirectory>${project.basedir}/src/main/avro/</sourceDirectory>                        
                    <outputDirectory>${project.basedir}/src/main/java/</outputDirectory>
                    <stringType>String</stringType>
                </configuration>
            </execution>
        </executions>
    </plugin>

我得到的错误如下:

Execution default of goal org.apache.avro:avro-maven-plugin:1.9.1:schema failed: 
Undefined name: "my.first.project.AvroDefinition.avsc"

无论如何,我希望我可以使用maven远程资源插件,但我无法让它工作,所以我的问题是这怎么可能?如何从依赖的 jar 导入 avro 定义来生成我的代码?

最佳答案

我终于找到了一个解决方案,不过更多的是一种解决方法,使用两个 Maven 插件 (maven-resources-plugin) 和 (maven-remote-resources-plugin)。

本质上,第一个插件(maven-resources-plugin)只是用于将 avsc 文件复制到项目的资源目录中,因此如果您已经在指定目录中拥有文件,则可以省略此步骤

实际工作是通过(maven-remote-resources-plugin)完成的,它需要找到要包含在 src/main/resources 目录中的 jar 中的文件(顺便说一句,由于某种原因我无法使用插件上的选项)(因此是上面的步骤)

<plugin>
   <artifactId>maven-remote-resources-plugin</artifactId>
   <version>1.6.0</version>
   <executions>
     <execution>
       <goals>
         <goal>bundle</goal>
       </goals>
     </execution>
   </executions>
   <configuration>
     <includes>
        <include>**/*.avsc</include>
     </includes>
   </configuration>
</plugin>

这样做可以确保 avsc 文件包含在 jar 中,然后在您的第二个项目/模块中,您需要从插件执行此目标(见下文),以便提取 avsc 文件并生成代码

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-remote-resources-plugin</artifactId>
    <version>1.6.0</version>
    <configuration>
      <resourceBundles>
        <resourceBundle>{groupId}:{artifactId}:{version}</resourceBundle>
      </resourceBundles>
    </configuration>
    <executions>
      <execution>
        <phase>generate-sources</phase>
        <goals>
          <goal>process</goal>
        </goals>
      </execution>
    </executions>
</plugin>

注意两件事,首先要在resourceBundles选项中包含依赖jar,其次将执行阶段设置为generate-sources而不是默认的generate-resources,否则它将无法工作,因为avro-maven-plugin确实执行生成源生命周期,然后它应该具有 avsc 文件。

最后一点,您还应该在 avro-maven-plugin 的导入部分包含以下行

<import>${project.build.directory}/maven-shared-archive-resources/</import>

这基本上是默认情况下从 maven-remote-resources-plugin 导出 avsc 文件的目录

关于Maven 从依赖 jar 导入 avro 定义,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59192643/

相关文章:

google-cloud-platform - 在 Google Cloud Storage 中连接 Avro 文件

java - IntelliJ/Maven repo 问题

maven - IntelliJ 中不存在资源 nexus-maven-repository-index.properties

maven - 如何从 Maven Central 安装?

null - Avro模式。如何一次将类型设置为 "record"和 "null"

apache-kafka - 带有 kafka-avro-console-consumer 的未知魔法字节

java - Maven:无法找到请求目标的有效证书路径

hadoop - 为 AvroParquetInputFormat 设置多个 projectionSchemas 的问题

apache - Avro 消息中的架构

java - AVRO Java 生成器 - 生成为 int 的日期