java - Spark 构建从 avro 生成 scala

标签 java intellij-idea apache-spark

Spark 构建模块 Spark-streaming-flume-skink 使用一些不存在但需要生成的 avro 类,例如 SparkFlumeProtocol。

有一个project/plugins.sbt定义为

    addSbtPlugin("com.cavorite" % "sbt-avro" % "0.3.2")

并使用

sbt assembly

不会生成这些文件。有谁知道如何做到这一点?如果没有这些 scala/java 文件,IntelliJ 构建将会失败:

Error:(44, 66) not found: type SparkFlumeProtocol val transactionTimeout: Int, val backOffInterval: Int) extends SparkFlumeProtocol with Logging {

最佳答案

事实证明,您可以使用 sbt 程序集来完成此操作,但它将文件放在默认位置。你也可以这样做

mvn generate-sources

在文件夹externals/flume-sink

关于java - Spark 构建从 avro 生成 scala,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25247007/

相关文章:

java - Glassfish - 在节点之间共享 EJB Web 应用程序

java - 无法使用 AutoValue 和 IntelliJ 解析符号

java - 为什么 Java 8 中的新 java.util.Arrays 方法没有为所有原始类型重载?

intellij-idea - 导航 |类或文件弹出窗口在 IntelliJ IDEA 2017.2 中立即关闭

java - IntelliJ IDEA VCS插件: refresh VCS window on save

java - 了解 Spark 的闭包及其序列化

scala - 如何在 Spark 中编写干净的调试语句?

python - 无法在 Spark 中导入名称 LDA MLlib

java - Java中如何使用Jframe登录成功后显示用户信息[登录表单]

java - Gilead 替代品将 GWT 和 Hibernate 粘合在一起