我已经安装了 CDH 最新版本，并设置了一个具有 1 个 16 GB RAM 和 200 GB 内存的主节点以及 3 个 8 GB RAM 和 500 GB 内存的 DataNode 的集群。当我尝试运行 Sqoop 导入时，在完成 83% 的映射后，它会给出 Java 堆空间错误和 GC 开销限制超出错误。我已经尝试了互联网上的所有解决方案。
这是我尝试过的事情的列表:
我尝试增加容器和 map 的大小，并根据此处给出的计算减少内存限制
我尝试将 Java 堆大小保持为映射的 0.8 倍并减少内存限制
我想知道这背后可能的原因是什么以及解决方案。
最佳答案
我也遇到过类似的问题，并通过放置正确的 MySQL/J Connector 5.1.33 来解决。
mysql 5.1.17 和 Sqoop 4.1.5 版本存在一些问题。
关于java - Cloudera设置Sqoop导入给出Java堆空间错误并且超出GC开销限制，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26484873/