我正在学习由 Digital Ocean 的 Justin Duke 撰写的网络抓取教程。这是教程的链接
https://www.digitalocean.com/community/tutorials/how-to-crawl-a-web-page-with-scrapy-and-python-3
当我运行我的代码时,网络爬虫显示以下错误:
'BrickSetSpider.parse 回调'未定义'。
我不确定这是什么意思。
这是我使用的代码。
import scrapy
class BrickSetSpider(scrapy.Spider):
name = "brickset_spider"
start_urls = ['http://brickset.com/sets/year-2016']
def parse(self, response):
SET_SELECTOR = '.set'
for brickset in response.css(SET_SELECTOR):
NAME_SELECTOR = 'h1 ::text'
yield {
'name': brickset.css(NAME_SELECTOR).extract_first(),
}
我也是 Python 的新手。因此,如果您对我的问题的回答能够让新手能够理解,我将不胜感激。
最佳答案
像这样
import scrapy
class BrickSetSpider(scrapy.Spider):
name = "brickset_spider"
start_urls = ['http://brickset.com/sets/year-2016']
def parse(self, response):
SET_SELECTOR = '.set'
for brickset in response.css(SET_SELECTOR):
NAME_SELECTOR = 'h1 ::text'
yield {
'name': brickset.css(NAME_SELECTOR).extract_first(),
}
关于python - 为什么我用Python做的网络爬虫不能用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56764036/