python - 如何从 MYSQL DB 中仅捕获新记录

标签 python mysql airflow

我试图从 MYSQL 数据库中仅捕获新记录,因此我只能选择这些记录并将它们作为 .csv 文件发送到 S3 存储桶。有没有什么方法或mysql函数可以保存每条记录的时间戳?我正在尝试从 mysql 到 s3 的增量加载。

有什么想法或建议吗?

最佳答案

MySQL 中没有默认的行级时间戳。

一种解决方案是创建您自己的解决方案,方法是向相关表添加一列并启用默认更新选项:

alter table mytable add ts timestamp 
    default current_timestamp 
    on update current_timestamp
;

关于python - 如何从 MYSQL DB 中仅捕获新记录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59399811/

相关文章:

docker-compose - docker-compose 中的 Airflow 服务主机无法更改时区

bash - Airflow 参数传递

Airflow :找不到 dag_id

python - 尝试将 Python Pandas 中带有字符串的列转换为 Float 时出错

python - 在python中将字符串转换为日期时间对象

mysql - 是 MySQL 在这种查询中天生就慢,还是我配置错误?

mysql - 在 MySql 中删除除一个表之外的所有表

Python 3 : No module named 'tqdm'

python - pandas 中将字符串插入数据帧的 set_value 相当于什么

php - 根据sql查询显示通知