python - 与 Spark 交互的 REST API

Question

我正在尝试将我的 Spark 上下文与 REST API 连接起来。所以我的流程是这样的，我将请求从我的 UI-nodejs 发送到 REST API，它需要与包含所需响应的 spark 上下文(Spark 作业在配置单元表之上工作)进行交互，并将其发送回 UI 以供显示。有什么办法可以做到这一点？ 用户界面 <->REST API<-> Spark (HDFS)

Answer 1

您可以使用 Apache Livy .它是专门为这个用例设计的。我们过去曾用它来控制 Spark 集群上的批处理和常规作业。