java - 我如何创建一个使用 Apache Spark 的 RESTFul 应用程序,特别是后端的 Streaming

标签 java apache-spark architecture streaming restful-architecture

我对 Apache Spark 还很陌生。我想要一个 RESTFul 服务,它使用 Apache Spark 接收文件(大文件),以便在后端近乎实时地处理该文件。我想用Java实现这个。

  1. 建议的轻量级框架是什么?
  2. 我如何打包这个应用程序(分发)。假设我有一个服务器 (例如 Tomcat )。我应该将 Spark 打包到 Web 服务中吗?

  3. 如何以编程方式运行 Spark 集群?就像服务一样 始终根据需要上下波动。

  4. 是否有遵循这种架构或实现的示例?

谢谢

最佳答案

使用Akka HTTP实现 REST 服务。 如何集成 Akka 和 Spark 的完整工作示例是 killrweather .

关于java - 我如何创建一个使用 Apache Spark 的 RESTFul 应用程序,特别是后端的 Streaming,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35705853/

相关文章:

hadoop - 在 yarn 群集上执行Spark-Submit时看不到 yarn 作业

c# - 新站点的 MVC 或 Webform 架构

java - 我是否应该使用依赖注入(inject)以获得良好的设计和可测试的代码?

java - 从三个不同的线程按顺序打印一二三?

java - 是什么让 Web 容器首先在 Web 应用程序中加载 web.xml?

java - 从启动的 jar 文件触发方法,该文件是通过 java 文件中的 Runtime...exec (".."加载的

c# - ASP.NET 模块依赖注入(inject)

java - 如何通过url链接读取所有文件和文件夹 "recursively"

python - Pyspark 分割日期字符串

python - PySpark:计算列子集的行最大值并添加到现有数据框