我在amazon EMR上运行了hadoop集群，该集群处理一些数据并将输出写入s3。现在，我想将该数据导入mssql。是否有任何开源连接器？或者我必须手动下载数据，将默认的分隔符“\ 001”更改为“，”，然后以mssql导入数据。
最佳答案
没有直接的方法。
在map的config中使用以下config写入输出，作为定界符
job.getConfiguration()。set(“mapreduce.textoutputformat.separator”，“，”);
最好的方法是将处理后的数据保留在s3中。您可以CSV到s3。编写一个php / java / shell以从s3下载数据并将其加载到mssql。
您可以使用s3download目录下载处理后的数据，然后使用批量插入将csv文件加载到mssql。
关于sql-server - 有什么办法可以将数据从s3导入到mssql，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25197610/