hadoop - 边缘节点 hortonworks 使用

Question

我有一个配置了 HA 的 6 节点(2 个主节点 + 4 个从节点)生产集群。

实际拓扑是:

• 大师 1:

  • 活跃的 HBase 大师
  • hive 元存储
  • HiveServer2
  • HST 服务器
  • 诺克斯网关
  • 事件NameNode
  • Oozie 服务器
  • 事件资源管理器
  • WebHCat 服务器
  • 动物园管理员服务器
  • HST代理
  • 期刊节点
  • 指标监控

• 大师 2:

  • 应用时间线服务器
  • 备用HBase Master
  • 历史服务器
  • Infra Solr 实例
  • 指标收集器
  • 格拉法纳
  • 备用NameNode
  • 备用资源管理器
  • Spark2 历史服务器
  • 飞艇笔记本
  • 动物园管理员服务器
  • HST代理
  • 期刊节点
  • 指标监控
  • 客户

• 奴隶 1/2/3 :

  • 数据节点
  • 区域服务器
  • HST 代理
  • 节点管理器

  • 指标监控

  • 其中一个从节点包含:JournalNode + Zookeeper Server

现在我们计划添加一些 Edge Node 。

我们的计划是:

• SQL 边缘节点:
  • 目录
  • HiveServer2
  • WebHCat
• 管理边缘节点
  • Ambari 服务器
  • 游侠
• 沿袭边缘节点
  • 作业历史服务器
  • Spark2 历史服务器
  • 应用时间线服务器
  • slider 注册服务器
• 最终用户访问边缘节点
  • 色调
• 诺克斯边缘节点
  • 诺克斯网关
• 调度边缘节点
  • Oozie 服务器
  • 猎鹰

你怎么看？

最佳做法是什么？

从主/从节点移动到边缘节点的组件是什么？

谢谢

Answer 1

边缘节点只能作为客户端。没有主人/奴隶。在使用 hdfs dfs -put

之前，除了磁盘空间之外的极少资源可能用于 SCP 文件

Knox 网关本身有点自称是一个安全的边缘节点，是集群的代理。取决于您是否实际使用它。

如果您不使用 HBase 和 Zeppelin，那么，您可能可以将它们从集群中移除。如果您有可用资源，HBase 应该位于自己的专用服务器上

对于 Zookeeper 也是如此 - 理想情况下应该将它们分开以获得最佳吞吐量。