到目前为止，我已经从一页中抓取了数据。我想继续直到分页结束。
Click Here查看页面
似乎有问题，因为 href 包含一个 javascript 元素。
<a href="javascript:void(0)" class="next" data-role="next" data-spm-anchor-id="a2700.galleryofferlist.pagination.8">Next</a>
我的代码
# -*- coding: utf-8 -*-
import scrapy
class AlibabaSpider(scrapy.Spider):
name = 'alibaba'
allowed_domains = ['alibaba.com']
start_urls = ['https://www.alibaba.com/catalog/agricultural-growing-media_cid144?page=1']
def parse(self, response):
for products in response.xpath('//div[contains(@class, "m-gallery-product-item-wrap")]'):
item = {
'product_name': products.xpath('.//h2/a/@title').extract_first(),
'price': products.xpath('.//div[@class="price"]/b/text()').extract_first('').strip(),
'min_order': products.xpath('.//div[@class="min-order"]/b/text()').extract_first(),
'company_name': products.xpath('.//div[@class="stitle util-ellipsis"]/a/@title').extract_first(),
'prod_detail_link': products.xpath('.//div[@class="item-img-inner"]/a/@href').extract_first(),
'response_rate': products.xpath('.//i[@class="ui2-icon ui2-icon-skip"]/text()').extract_first('').strip(),
#'image_url': products.xpath('.//div[@class=""]/').extract_first(),
}
yield item
#Follow the paginatin link
next_page_url = response.xpath('//link[@rel="next"]/@href').extract_first()
if next_page_url:
yield scrapy.Request(url=next_page_url, callback=self.parse)
问题
- 如何解决分页问题？
你能帮上什么忙
- 帮我修改代码，使我可以跟随分页链接并抓取数据直到最后。
最佳答案
您可以使用类似的代码获取下一页 URL:
next_page_url = response.xpath('//div[@class="ui2-pagination-pages"]/span[@class="current"]/following-sibling::a[1][contains(@href, "?page=")]/@href').extract_first()
但这行不通，因为分页 block 是由 Javascript 呈现的:-(
但是你可以使用一些技巧:
next_page_url = response.xpath('//link[@rel="next"]/@href').extract_first()
关于python - Scrapy:从分页中抓取数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52241118/