我正在尝试将 900 个文件中的 130GB 数据从 S3 导出到 Auroa/MySql RDS。
我有 10 个节点的 10r4.4xlarge 配置集群。
极光已亮起
Aurora : db.r3.2xlarge 8 CPU, 61 GB RAM)
此外，当我运行 Sqoop 命令时，我可以看到 917 个映射器已启动。 但导出还是非常非常慢，加载全部数据需要2个多小时。
这是我正在尝试执行的 Sqoop 命令。
sqoop export \
--connect jdbc:mysql://a205067-pppp-ec2.abcd.us-east-1.rds.amazonaws.com/tprdb \
--username user \
--password Welcome12345 \
--table UniverseMaster \
--export-dir s3://205067-pppp-latest-new/output/processing/NextIteration/ \
--fields-terminated-by '|' \
--num-mappers 1000 \
--direct \
-- --default-character-set=latin1
有什么方法可以改进 Sqoop Export 吗？ 我尝试使用每笔交易的记录，但结果仍然相同。
请推荐..
最佳答案
您可以批量导出它，分区也会有所帮助，但还有更多解决方案。您可以引用这个HortonWorks链接https://community.hortonworks.com/articles/70258/sqoop-performance-tuning.html寻找更多的性能调优方法。
关于mysql - Sqoop 导出到 Aurora RDS 的速度非常慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52867979/