python - 使用 Scrapy 解析站点地图

标签 python sitemap scrapy

我希望能够使用 scrapy 抓取站点地图上的链接。我对这个应用程序了解不多,所以我会对您提供的任何链接/信息/文档感兴趣。

谢谢

最佳答案

为了这个目的,一个新的通用蜘蛛刚刚被添加到 Scrapy trunk 中。它将在下一个版本(Scrapy 0.14)中可用

关于python - 使用 Scrapy 解析站点地图,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6335906/

相关文章:

输出行的 xmllint 问题

xml - https 电子商务站点的站点地图

python - Scrapy 表示没有抓取任何页面/项目?

mysql - Pipeline 不写入 MySQL,但也没有给出错误

python - 使用 scrapy 在 url 中抓取

python - 构建与 DB 和/或 XML 交互的网站

python 不被识别为内部或外部命令

jquery - 如何从 flask 中的 'ImmutableMultiDict'获取数据

python - 在按下Enter键之前自动在输入中添加空间

c# - 将 X-Robot-Tag 添加到 Sitecore 8 中的响应 header