java - 如何使用 Spark 和 Java 来使用来自 Azure eventhub 的数据

标签 java azure spark-streaming azure-eventhub

有一些教程可用于从 azure eventhub 接收事件,这些教程仅使用 JAVA 编写

但我在使用 Spark 和 java 编写 azure eventhub 消费者代码时没有得到任何帮助

任何人都可以帮助提供一些教程或指导我正确的方向吗?

最佳答案

您可以按照本文中的说明从 Spark 中使用 Java 使用 Azure 事件中心。

https://learn.microsoft.com/en-us/azure/event-hubs/event-hubs-java-get-started-receive-eph

但是,如果您尝试创建长期运行的 Spark Streaming 作业,我建议您使用 Scala 而不是 Java 编写作业。我也有用 Java 编写的工作,当我们决定将消息队列从 Kafka 切换到 Azure 事件中心时。我们能够使用直接接收器方法连接到事件中心,该方法根据这篇文章从 Scala 翻译为 Java https://learn.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-eventhub-streaming ,但是在 Java 中处理结果流被证明是困难的。

祝你好运!

关于java - 如何使用 Spark 和 Java 来使用来自 Azure eventhub 的数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44905738/

相关文章:

Java 设置简单代理

azure - 更改 Azure 静态 Web 应用中拉取请求环境的域

Azure CloudDrive HTTPS Uri

apache-spark - Spark 流: connection refused

java - 从Spark Workers将数据从SparkStreaming保存到Cassandra是否可行

java - Swing PropertyChangeSupport 动态更新 JTextArea

java - 第一次在 Spring 上使用 QueryDSL MongoDB

java - 如何在没有JVM的情况下运行java程序?

c# - AAD : How uniquely identify users in a Web API?

serialization - 无法使用 spark streaming、cassandra 和 mllib 序列化的任务