python - 使用 mysql 或 python 代码将一组文本文件导入到 mysql

Question

我有一个文件夹，其中包含一组具有相同结构的文件 .txt。

文件夹目录为E:\DataExport

其中包含1000个.txt文件:text1.txt，text2.txt，.... 每个 txt 文件包含一个价格数据。数据每天更新。一个 .txt 文件的示例如下

Ticker,Date/Time,Open,High,Low,Close,Volume
AAA,7/15/2010,19.581,20.347,18.429,18.698,174100
AAA,7/16/2010,19.002,19.002,17.855,17.855,109200
AAA,7/19/2010,19.002,19.002,17.777,17.777,104900
....

我的问题是，我想:

1. 通过一行代码将所有文件加载到mysql数据库中，我可以在MySql命令行中逐一完成，但不知道如何一次将所有文件导入到MySql中的一个表中(我已经创建了表)
2. 每天获取新数据时，怎么只能将新数据更新到MySql中的表中

我想使用 Python 或 MySql 获得解决方案。我尝试谷歌并应用一些解决方案但无法成功，数据未加载到 mySQL

Answer 1

1. 您可以使用 python 包 pandas。

   使用 read_csv 读取数据进入 DataFrame 并使用 to_sql具有正确con和schema的方法。

2. 您必须跟踪导入的内容。例如，您可以将其保留在最后导入第 1032 个文件的第 54 行的文件或数据库中。并执行读取其余部分并导入的更新。