python - python中网络爬虫的数据库?

标签 python database web-crawler

您好,我正在用 Python 编写网络爬虫,以从 nytimes.com 等新闻网站提取新闻文章。我想知道什么是用作此项目后端的好数据库?

提前致谢!

最佳答案

如果使用 CouchDB、MongoDB 或 SimpleDB 等文档数据库,这可能是一个很棒的项目。

MongoDB 有一个托管解决方案:http://mongohq.com .还有a binding for Python (Pymongo) .

如果您将其托管在 Amazon Web Services 上,SimpleDB 是一个不错的选择

CouchDB 是 Apache 基金会的一个开源包。

关于python - python中网络爬虫的数据库?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2143702/

相关文章:

python - 无法将有效的 CURL PUT 语句转换为有效的 python 脚本

Python 频率分布 (FreqDist/NLTK) 问题

database - 一些JIRA数据库表之间的关系

mysql - 是MYSQL的表关系错误吗?

python - 停止 Scrapy 抓取相同的 URL

python - 将字符串解析为类层次结构

python - AWS HTTP API - Python 请求与 Dart HTTP 中的请求相同但响应不同

java - 从数据库表中随机选择实体?

apache - 错误 Nutch 'http.agent.name' 中没有列出代理

seo - 允许搜索引擎抓取网站的最佳方式