hadoop - 如何使用水槽从大型机文件中提取数据到hadoop HDFS

标签 hadoop apache-pig cloudera flume cloudera-cdh

我正在使用 cloudera CDH5 ,并且需要使用 flume 将数据从大型机文件提取到 hadoop hdfs。 有人可以帮助我需要注意哪些步骤..

最佳答案

您确定需要 Flume 吗? Sqoop 1.4.5 现在有一个大型机连接器,可能更适合开箱即用。

关于hadoop - 如何使用水槽从大型机文件中提取数据到hadoop HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26626052/

相关文章:

apache-spark - Pyspark 在 yarn 集群模式下将文件写入本地

hadoop - MSCK REPAIR TABLE <tablename>显示无错误,但未检测到任何分区

hadoop - YARN 上的 Spark 中的日志在哪里?

hadoop - Windows 10 Hyper-v上的HDP 2.6.5

hadoop - 如何在 Hadoop 1.2.1 中控制用户作业/任务的日志消息级别

hadoop - 使用HiveMetaStoreClient(由此,HiveConf)检索Hive元数据

java - 海量多道程序和只读文件访问

hadoop - 如何使用 Apache Pig 获取类似 GROUP BY 的 SQL?

hadoop - 通过 pig 脚本传递参数时出错

Cloudera 5.3.0 中的 HBASE_HOME 目录