Spark 构建模块 Spark-streaming-flume-skink 使用一些不存在但需要生成的 avro 类,例如 SparkFlumeProtocol。
有一个project/plugins.sbt定义为
addSbtPlugin("com.cavorite" % "sbt-avro" % "0.3.2")
并使用
sbt assembly
不会生成这些文件。有谁知道如何做到这一点?如果没有这些 scala/java 文件,IntelliJ 构建将会失败:
Error:(44, 66) not found: type SparkFlumeProtocol val transactionTimeout: Int, val backOffInterval: Int) extends SparkFlumeProtocol with Logging {
最佳答案
事实证明,您可以使用 sbt 程序集来完成此操作,但它将文件放在默认位置。你也可以这样做
mvn generate-sources
在文件夹externals/flume-sink
关于java - Spark 构建从 avro 生成 scala,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25247007/