python - 如何将Python Scrapy扩展中的数据插入到MySql数据库表中?

标签 python mysql database scrapy

我正在为 Python Scrapy 构建一个扩展,以获取爬虫相关详细信息,例如其开始时间、结束时间、爬虫状态(打开、关闭或事件)。现在我需要将当前时间戳存储在 MySql 数据库表中。有人能帮我解决这个问题吗? 我需要一个代码来从 Scrapy 代码连接 MySql 数据库并执行与数据库相关的查询,如插入、选择等。 谢谢..

最佳答案

您需要向您的项目添加一个 Item Pipeline,添加方法 process_item,如下所述:http://doc.scrapy.org/en/0.18/topics/item-pipeline.html#process_item

在该方法中,您必须将数据插入 MySQL,如下所述:http://dev.mysql.com/doc/connector-python/en/index.html

关于python - 如何将Python Scrapy扩展中的数据插入到MySql数据库表中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19359298/

相关文章:

python - 如何在 PyQt5 中根据中心而不是左角使用移动命令定位标签

.net - 从 Mysql 异步加载图像到 WPF

sql - 将复杂的 Oracle 查询转换为 Postgres

Python 2.7 如何打印 unicode-escape 格式字符串?

python - 函数声明时出现 Theano OSError

python - 使用自定义元素类在 Python 中解析 xml

sql - MySQL:在全文搜索中查找多个单词 - 仅完全匹配

php - Magento SQL 语句未返回预期结果

php - 如何使我的删除查询完全正常工作?

sql - 如何获得两列之间的差异