scala - 如何创建 Spark 事件以在 HDInsight 上运行 Scala 脚本?

标签 scala azure apache-spark azure-data-factory azure-hdinsight

我想使用 HDInsight 执行 Scala 脚本。下面的文章描述了运行 py 脚本,但没有提到 abt Scala。我按照这篇文章(而不是py文件,上传的Scala文件)但是Azure DataFactory无法执行并显示错误消息:

({
    "errorCode": "2312",
    "message": "Spark job failed, batch id:4",
    "failureType": "UserError"
}

https://learn.microsoft.com/en-us/azure/data-factory/transform-data-using-spark

最佳答案

如果你想执行用scala编写的spark代码,那么你必须调用Jar文件 。如果太复杂那么你也可以使用databricks笔记本。如果您遇到问题,请告诉我

关于scala - 如何创建 Spark 事件以在 HDInsight 上运行 Scala 脚本?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50154437/

相关文章:

macos - Mac OS Intellij 运行 scala 程序时出错

scala - json4s 总是转义 unicode 字符 €

scala - 如何使用 sbt 创建包含源(.java 和 .scala)和类的 .jar?

c# - WP7.1应用程序中的WebClient仅调用一次

json - 如何在 Spark Scala 中读取嵌套 JSON?

python - 如何通过 Spark 将函数异步应用到数据帧的子集?

java - 如何将 Scala Case 类转换为 Java HashMap

azure - 无法使用 Microsoft graph API 获取照片

python - Oauth2 身份验证 token 包含 Azure 应用程序 ID 的 OID,而不是用户 ID

Scala 序号方法调用别名