hadoop - 在群集计算机上执行命令

标签 hadoop cluster-computing yarn

我想在 yarn 簇的计算机上执行一些bash命令。例如,打印每个日志的最后一行:

tail -n 1 `ls /data/pagerank/Logs/*`

群集子集中的计算机太多,无法手动输入到每台计算机并执行命令。有没有办法使程序自动化?

最佳答案

我认为您可以使用Parallel SSH工具。您可以在以下找到更多
https://code.google.com/p/parallel-ssh/

有关如何使用它的基本教程,请参见:
http://noone.org/blog/English/Computer/Debian/CoolTools/SSH/parallel-ssh.html

关于hadoop - 在群集计算机上执行命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28695038/

相关文章:

hadoop - 在 hive 中排名

hadoop - Hadoop服务启动后立即启动的 yarn 应用数量。群集是4个节点,即。 Hadoop HA集群

java - Namenode抛出EPERM:启动时不允许进行操作

jboss - 野蝇中的集群安全异常

java - 节点间通信机制

apache-spark - yarn 服务器重启后如何在Spark Web-UI中保留完成的应用程序

hadoop - 如何根据 S3 中的特定模式修改文件内容

hadoop - 为什么某些工作节点在运行 Spark 应用程序时会占用更多系统 CPU?

hadoop - 了解 hadoop 中默认调度程序的技术

hadoop - 在现有的 Hadoop 集群上运行 Nutch