hadoop - 访问远程服务器获取数据并将其放入hdfs

标签 hadoop

羊群

在这里,我有一个客户问题。我想将表从sql server(RDBMS)到我的hdfs(hadoop群集)。但是服务器位于不同的位置。

1)哪种是访问服务的最佳方式,但数据量很大。

2)连接一台服务器是可以的,我们在全局有很多服务器,我们必须从这些服务器获取数据。

3)我们可以与sqoop远程连接以将数据获取到HDFS吗?

最佳答案

您的问题尚不清楚,但是可以,您可以使用sqoop将服务器中的数据导入HDFS。导入数据时需要指定连接参数:

sqoop import --connect <JDBC connection string> --table <tablename> --username <username> --password <password>

如果需要从多个服务器进行多次导入,建议您尝试使用Oozie来自动执行这些导入。您可以找到实现该here的教程。

关于hadoop - 访问远程服务器获取数据并将其放入hdfs,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21001023/

相关文章:

hadoop - 使用年份在 pig 中加载数据时出错

nginx - Hadoop 可以运行在 Nginx 上吗?

c++ - C++-使用uint8_t指针将字符串值传递给函数

hadoop - NameNode 的用户名必须与 DataNode 的用户名相同吗?

hadoop - 带有VirtualBox的Mac上的Hortonworks Sandbox HDP 2.6.5

hadoop - 为什么将作业提交到 mapreduce 一般需要这么长时间?

hadoop - 是否可以在sqoop中将具有相同数据类型的多个列映射到新数据类型?

hadoop - Oozie 和 Hue : why am I getting "permission denied" error while playing oozie workflow?

hadoop - 在 YARN 应用程序中获取 Hadoop 集群节点列表

sql - 如何在不单独指定每一列的情况下在所有行中搜索文本