python - 将 CSV Scrape 转换为 mySQL 插入

标签 python mysql

我有一个 python 脚本,它将网站抓取到 csv 文件中。我正在尝试将其转换为 mySQL 插入语句。下面的代码将 NULL 值插入到我的表中。我怎样才能改变它以使其工作?

注意:注释掉的行将删除正在运行的 CSV 抓取内容。

#f = codecs.open('results.csv', 'w', encoding='UTF-8')
d = date.today()
todays_date = date.strftime(d, '%m/%d/%y')
#f.write("Date,Time,Away)
#f.write('\n')

def scrape_game_info():
    all_tbodies = driver.find_elements_by_tag_name('tr')
parsed_tbodies = [
    i for i in all_tbodies if 'ctl00_content_ctl00' in i.get_attribute('id')]
del parsed_tbodies[0]
dictionary = OrderedDict(itertools.izip_longest(
    *[iter(parsed_tbodies)] * 2, fillvalue=""))
for key, value in dictionary.items():
    tds = key.find_elements_by_tag_name('td')
    date = tds[0].text
    if date == todays_date:
         away=tds[2].text
         #f.write(date)
         #f.write(',')
         #f.write(time)
         #f.write(',')
         #f.write(away_rotation_number)
         #f.write(',')
pgp=("INSERT INTO pgp (Date, Time, Away)\
VALUES (date, time, Away)
cursor.execute(pgp)

**这是代码的一部分,但我相信足以帮助定义问题。

最佳答案

我按照 Drew 的建议使用加载数据文件。我正常运行脚本来创建 csv。然后,我添加了在创建脚本后加载数据的代码。

关于python - 将 CSV Scrape 转换为 mySQL 插入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37972104/

相关文章:

python - 通过匹配_id更新MongoDB集合

python - 与 pyodbc 到镜像 MS SQL Server 的第二次连接出现段错误

MySQL子查询仅返回顶行结果

php - 运行到 Selects 并使用 PHP 对结果进行分组

mysql 查询更新重复项

没有分组依据的 MySql count(*)

python - Python 3 中的 TabError

python - 使用 PyCrypto 解密 Perl 加密密码

python - Python 中针对简单数组查找的小循环的性能问题

php - 如何在sql中同时使用 '='和LIKE运算符来表示相同的条件