我正在尝试构建一个蜘蛛,它可以有效地从许多网站上抓取文本信息。因为我是 Python 用户,所以我被提到了 Scrapy。但是,为了避免抓取庞大的网站,我想限制蜘蛛抓取不超过 20 个特定“深度”的页面每个网站。这是我的蜘蛛:
class DownloadSpider(CrawlSpider):
name = 'downloader'
download_path = '/home/MyProjects/crawler'
rules = (Rule(SgmlLinkExtractor(), callback='parse_item', follow=True),)
def __init__(self, *args, **kwargs):
super(DownloadSpider, self).__init__(*args, **kwargs)
self.urls_file_path = [kwargs.get('urls_file')]
data = open(self.urls_file_path[0], 'r').readlines()
self.allowed_domains = [urlparse(i).hostname.strip() for i in data]
self.start_urls = ['http://' + domain for domain in self.allowed_domains]
def parse_start_url(self, response):
return self.parse_item(response)
def parse_item(self, response):
self.fname = self.download_path + urlparse(response.url).hostname.strip()
open(str(self.fname)+ '.txt', 'a').write(response.url)
open(str(self.fname)+ '.txt', 'a').write('\n')
urls_file 是带有 url 的文本文件的路径。我还在设置文件中设置了最大深度。这是我的问题:如果我设置 CLOSESPIDER_PAGECOUNT
异常,当抓取页面的总数(无论是哪个站点)达到异常值时,它会关闭蜘蛛。但是,当我从每个 url 中抓取 20 页时,我需要停止抓取。
我还尝试使用像 self.parsed_number += 1 这样的变量来保持计数,但这也不起作用——似乎 scrapy 不会一个接一个地访问 url,而是将它们混合起来。
非常感谢任何建议!
最佳答案
为此,您可以基于 SgmlLinkExtractor 创建您自己的链接提取器类。它应该看起来像这样:
from scrapy.selector import Selector
from scrapy.utils.response import get_base_url
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
class LimitedLinkExtractor(SgmlLinkExtractor):
def __init__(self, allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths=(),
tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None,
deny_extensions=None, max_pages=20):
self.max_pages=max_pages
SgmlLinkExtractor.__init__(self, allow=allow, deny=deny, allow_domains=allow_domains, deny_domains=deny_domains, restrict_xpaths=restrict_xpaths,
tags=tags, attrs=attrs, canonicalize=canonicalize, unique=unique, process_value=process_value,
deny_extensions=deny_extensions)
def extract_links(self, response):
base_url = None
if self.restrict_xpaths:
sel = Selector(response)
base_url = get_base_url(response)
body = u''.join(f
for x in self.restrict_xpaths
for f in sel.xpath(x).extract()
).encode(response.encoding, errors='xmlcharrefreplace')
else:
body = response.body
links = self._extract_links(body, response.url, response.encoding, base_url)
links = self._process_links(links)
links = links[0:self.max_pages]
return links
该子类的代码完全基于类SgmlLinkExtractor 的代码。我刚刚将变量 self.max_pages 添加到类构造函数和在 extract_links 方法末尾剪切链接列表的行。但是你可以用更智能的方式来削减这个列表。
关于python - 如何在 Python Scrapy 中限制每个站点的关注页面数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16676397/