我已经在 Azure 上的 HDInsight 中设置了一个 Spark 集群，我有一个服务，它定期将数据推送到 HDInsight blob 存储中，并且我在此之上创建了一个 Hive 外部表。我能够使用 Jupyter 并执行一些 Spark SQL 查询并查看结果。
现在我有一个 ASP.Net 网站 需要根据用户请求执行类似的 Spark SQL 查询作业并在网页上显示结果。
是否有任何图书馆来庆祝这一点，或者有人可以分享一些关于如何实现这一点的示例？
我看到 HDInsight spark cluster cluster 带有 李维 ，但我没有看到任何示例向我们展示如何在我的 dotnet 环境中使用它。顺便说一句，我假设这是我们解决我的问题需要采取的途径。
我对这一切都很陌生，任何指针都会有帮助。
谢谢，基兰
最佳答案
抱歉，我们目前没有 HDInsight Spark SDK。您可以随时向 API 发送 REST 调用，如下所述:https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/ .
但是，如果您想从 Livy API 中获取结果，您需要做一些变通方法来完成这项工作。原因是我们在 HDInsight 中以集群模式在 YARN 上使用 Spark，结果不会写回 Livy API。您需要查看 Spark 驱动程序的容器日志并手动获取 stdout/stderr。
如果您有更多问题，可以给我发电子邮件至 microsoft dot com 的 xiaoyzhu，我可以帮助您找到合适的所有者。
微软 HDInsight 朱晓勇
关于azure - 到 HDInsight Spark 的 Rest 接口(interface)以提交作业并读取结果，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36627813/