java - 在多节点群集上配置Twister

标签 java hadoop ssh mapreduce

我发现有关如何在多个节点上设置Twister的唯一说明是these
我是分布式编程和map reduce范式的新手,因此我可以使用一些更详细的文献(教程,文章,示例,有关堆栈溢出的问题等)。

假设我有一个小型集群,其中包含两台计算机。两台计算机都可以运行我在本地主机上编写的Twister应用程序。它们连接在同一LAN内,地址例如192.168.0.11192.168.0.18
假设192.168.0.11将是节点-我希望从中运行该节点。我们将其他计算机称为从属

计算机可以通过SSH进行通信,而无需输入密码(主机可以对从属和自己进行无密码SSH;从属可以对主人和自己进行无密码SSH)。

我还了解到,在主节点上,应该在 $ TWISTER_HOME / bin / nodes 文件中命名所有IP节点的地址;因此,在这种情况下:

192.168.0.11
192.168.0.18

下一步是什么?还有更多配置吗?从属计算机的配置是否应该更改? Narada和Twister应该在两台计算机上运行,​​还是仅在主机上运行?
这些步骤对我来说似乎很模糊。

另外,我将不胜感激任何相关文章或此类文章。

谢谢。

最佳答案

在奴隶上:

  • 运行narada(该节点的IP)

  • 在母版上:
  • 运行narada(两个节点)
  • 运行绞线
  • 运行应用程序
  • 关于java - 在多节点群集上配置Twister,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38715701/

    相关文章:

    Java EE vs JSP vs JSF

    apache - 使用JDK1.6的CDH4上的giraph1.0

    ssh - 连接到/从 Ubuntu 18.04 时禁用 SSH 超时

    java - Ganymed-ssh - 当 execCommand 需要更多时间时如何设置超时关闭 session

    java - 在 jLabel 上使用 setIcon 会重复旧图像

    Java Spring Thymeleaf 将枚举集合绑定(bind)到复选框时出错

    Java BorderLayout 不起作用,JPanel 不会按照我希望的方式移动

    hadoop - 原子 hadoop fs 移动

    hadoop - Cloudera Imala - 它是否支持存储过程/函数或 SQL block ?

    linux - SSH 在没有连接到 shell 脚本中的服务器的情况下退出