python - AWS Glue - 从 sql server 表读取并作为自定义 CSV 文件写入 S3

标签 python python-2.7 amazon-web-services amazon-s3 aws-glue

我从 1 月开始从事 Glue 工作,并使用 AWS Glue/Databricks/EMR 等工作过多个 POC、生产数据湖。我使用 AWS Glue 从 S3 读取数据并在加载到 Redshift、Aurora 之前执行 ETL,等等

我现在需要从 SQL SERVER 上的源表中读取数据,然后获取数据,将数据写入自定义(用户定义的)CSV 文件中的 S3 存储桶,比如 employee.csv。

我正在寻找一些指示,请这样做。

谢谢

最佳答案

您可以使用指定 connectionType=sqlserver 的 JDBC 进行连接,以获取连接到 SQL SERVER 的动态框架。在这里查看 GlueContext docs

dynF = glueContext.getSource(connection_type="sqlserver", url = ..., dbtable=..., user=..., password=)

关于python - AWS Glue - 从 sql server 表读取并作为自定义 CSV 文件写入 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52336996/

相关文章:

python - 如何使用 Pandas 将 .csv 文件更改为 .dat 文件?

amazon-web-services - Aws Api Gateway Integration Request 如何将属性附加到请求正文?

php - 无法从 codeigniter 3 连接到 Amazon RDS 中的数据库

python - Pandas 将索引复制到数据帧

python - 像素 RNN Pytorch 实现

python - 如何在 Windows 8.1 上为 Python 3.x 安装 OpenCV?

python - 在后台更改 Windows 10 应用程序音频混合(最好使用 Python)

python - BeautifulSoup,简单的正则表达式问题

Python 二维数组求和枚举

amazon-web-services - 如何使用 CloudFormation 更新 AWS::AutoScaling::AutoScalingGroup?