hadoop - Cloudera快速入门CDH 5.15集群运行缓慢

标签 hadoop cloudera-cdh cloudera-quickstart-vm

我的Cloudera quickstart CDH 5.15集群非常慢
当我运行一个简单的hadoop命令(如“hadoop fs -ls”)时,将花费将近20秒
但是当我尝试运行runnnig本地命令(例如“ls”)时,速度非常快,请为此提供帮助。

最佳答案

快速启动VM需要6-8 GB的RAM才能可靠地工作。

但是,与其他类似操作的内置shell命令相比,任何hadoop命令的JVM启动过程都将慢得多。无法解决这个事实。

如果您希望更快地使用Hadoop ls命令,那么设置一个具有足够内存用于Namenode进程的实际分布式集群将是有益的,这是ls所联系的

关于hadoop - Cloudera快速入门CDH 5.15集群运行缓慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53072839/

相关文章:

hadoop - Hadoop流:链接作业

apache-spark - 为什么在 Spark-Shell 中导入 SparkSession 失败并显示 "object SparkSession is not a member of package org.apache.spark.sql"?

scala - 当我尝试通过 Cloudera VM 在 spark 中运行 scala 命令时,topology.py 出现语法错误

centos - 虚拟机 "Cloudera quick start"未启动

cloudera - 无法在 Cloudera Quickstart VM 中安装 Spark 2.2 (5.10)

hadoop - 使用 pig latin 分组后如何找到相似的元组?

java - 如何使用hdfs中存储的jceks文件连接到aws sqs队列和s3

hadoop - Hadoop自定义Java程序

hadoop - Phoenix未从Cloudera CDH5发行版连接在Zookeeper上

linux - 安装 RODBC 包时出错