hadoop - 在办公电脑上运行 Hadoop 软件(闲置时)

标签 hadoop mapreduce cluster-computing hbase

有没有一个项目可以帮助在办公室桌面闲置时设置 Hadoop 集群?

我想尝试使用 Hadoop/MR/hbase,但无法访问 5-10 台计算机。工作中的计算机在下类后闲置,并通过非常高速的连接相互连接。此外,这些计算机上的数据保留在我们的网络中,因此不存在隐私问题。

为了让它工作,我需要在每台机器上运行一个重量相当轻的监视器。当计算机闲置 X 小时后,它将加入集群。如果用户登录,它必须退出集群并返回所有 CPU/内存。

有这样的东西吗?

最佳答案

您可以使用任务调度程序来检测空闲状态,然后使用 virtual box 或 vmplayer 启动/停止 hadoop 虚拟机。或者您可以编写一个 powershell 脚本,它根据资源使用情况启动停止。

关于hadoop - 在办公电脑上运行 Hadoop 软件(闲置时),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10151189/

相关文章:

java - Hadoop 自定义输入格式

performance - 估计伪分布式节点上的 Hadoop 可扩展性性能?

hadoop - 使用 HBase/Hadoop/Storm

hadoop - 在 hadoop 多节点集群设置中创建从作业日志到 ${hadoop.tmp.dir} 的符号链接(symbolic link)失败

recursion - Fortran 递归段错误

hadoop wordcount并将文件上传到hdfs

hadoop - 如何将输入日志 .PCAP(Binary) 与 Map Rreduce Hadoop 一起使用

hadoop - 为什么 reduce 停留在 16%?

file - hadoop中的序列文件是什么?

node.js:从主集群控制