linux - Linux + windows 的 hadoop 节点

标签 linux windows hadoop

我有 4 台 Windows 机器,4 台机器中有 3 台安装了 hadoop。 一台机器有 Harton 工作沙箱(比如第 4 台机器),现在我需要将第 4 台机器作为我的服务器(名称节点) 机器的其余部分作为奴隶。

  • 如果我更新其余 3 台机器中的配置文件,它是否会工作
  • 或者还有其他方法吗?
  • 还有其他建议吗?

谢谢

我终于明白了,但我找不到任何帮助

Hadoop cluster configuration with Ubuntu Master and Windows slave

最佳答案

非安全集群将工作(非安全的意思是您不启用基于 Hadoop Kerberos 的身份验证和安全性,即 hadoop.security.authentication 保留为 simple )。您需要更新所有节点配置以指向新的第 4 个节点作为您计划在其上托管的各种服务的主节点。你提到了 namenode,但我假设你的意思是让第 4 个节点成为“头”节点,这意味着它可能还会运行 resourcemanager 和 historyserver(或旧式 Hadoop 的 jobtracker)。这只是核心,没有考虑更高级别的组件,如 Hive、Pig、Oozie 等,更不用说 Ambari 或 Hue。

可以对现有 Windows(或 Linux,没有区别)节点进行安装后配置,编辑各种 xx-site.xml 文件。你必须知道要改变什么,这不是微不足道的。使用适当的 clusterproperties.txt 配置文件再次部署 Windows 机器可能会容易得多。参见 Option III - Manual Install One Node At A Time .

关于linux - Linux + windows 的 hadoop 节点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22910378/

相关文章:

linux - 用汇编代码将全局数据转储到磁盘

c# - 如何获取 Windows 服务登录用户的安全 token ?

eclipse - 如何从build.xml文件构建hadoop1.0.4 eclipse插件?

hadoop - Apache Flume-错误的时间戳

hadoop - HDFS 复制因子 - 最小化数据丢失风险

ruby-on-rails - 在 Linux Mint 中开始使用 Ruby on Rails

linux - Linux 中的空闲内存?

linux - 在 macos 上使用 ls 命令查找一些 *.app 文件

windows - 连接到剪贴板?

java - 卡夫卡 : could not find or load main class installation Windows