我有一份将数据从oracle传输到hdfs的工作。我需要一种有效的方法来验证此传输，以确保正确地传输了所有行。
最佳答案
我觉得一种简单的方法是从源Oracle表中获取行数
select count(*) from tablename;
您将从Oracle表中获取行数
从HDFS的 Angular 来看
计算HDFS文件中的总行数(行):
hadoop fs -cat /yourdestinationhdfsfiles/* | wc -l
数据验证策略
创建类似于Oracle表结构的(临时)Hive表
从目标HDFS文件中获取很少的记录，并将数据加载到HIVE表中，并验证记录和结构是否匹配。[验证的手动过程]
注意:如果您有足够的存储空间和处理单元，也可以对完整数据进行此操作。
希望对您有所帮助!..
关于oracle - 如何验证从外部数据库(oracle)到hdfs的数据传输，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50791102/