hadoop - Google Cloud Platform上的预定mapreduce作业

标签 hadoop mapreduce google-bigquery google-cloud-platform google-cloud-dataproc

我正在开发一个node.js应用程序,该应用程序基本上将用户事件日志存储在数据库中,并显示有关用户操作的见解。
为了实现此事件,必须使用 Mapreduce 作业对日志进行分析,该作业每天自动运行一次(每晚)(每天晚上)一次

我在Google云端网站上找到了许多有关mapreduce的教程,但我完全迷失了,因为有几种技术,而且不使用命令行就找不到解决方法,而且也没有有关调度的信息(我希望整个分析过程完全自动化)

请为我提供有关我应该使用哪些Google技术或在哪里可以找到好的教程的建议?

谢谢

最佳答案

您要查看:

  • Dataproc(开箱即用运行Hadoop / Spark作业)
  • Dataflow(使用Dataflow / Beam编程模型开发“管道”)

  • 关于hadoop - Google Cloud Platform上的预定mapreduce作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36156051/

    相关文章:

    python - 这是可并行的吗?

    hadoop - 如何将 Hadoop MapReduce 作业的输出作为值/键而不是键/值返回?

    hadoop - pig : Force one mapper per input line/row

    hadoop - 将数据提取到 PIG 中的不同关系中

    hadoop - 关于在Oozie中运行的作业失败

    hadoop - Oozie工作流程将数据加载到配置单元

    java - Combiner 逻辑是否始终与 Reducer 逻辑相同?

    google-bigquery - 查询操作错误 : Cannot start a job without a project id

    qt - google-bigquery 如何使用 https get 获取数据集列表?

    google-bigquery - Google BigQuery 是否需要架构?