简而言之,我必须抓取 Flipkart 并将数据存储在 Mongodb 中。
首先,使用MongoDB Atlas为自己获取一个免费的托管 Mongodb 服务器。测试您是否能够使用 python 的库 pymongo 连接到它。
其次,安装Scrapy并使用其文档让自己熟悉使用 Scrapy 框架进行抓取。
然后,转到以下 2 个网址
女鞋👉 https://www.flipkart.com/womens-footwear/pr?sid=osp,iko&otracker=nmenu_sub_Women_0_Footwear
每个页面有 40 个产品,您必须从每个起始 URL 中抓取最多 25 个页面(大约 2000 个产品)并将数据存储在 Mongodb 中(数据库:,集合:flipkart)。数据应该使用 Scrapy Mongodb Pipelines 直接从 Scrapy 框架插入到 Mongodb 中。
您抓取的每个产品都应具有以下数据:
名称
[存储为字符串]品牌
[存储为字符串]original_price
[存储为 float ]sale_price
[存储为 float ]image_url
[存储为字符串]product_page_url
[存储为字符串]product_category
[存储为字符串] [它可以包含 2 个值“女鞋”或“男上衣”]
但是我只能抓取品牌、标题销售价格和产品网址,原始价格有两个字符串并且它不匹配,我无法将数据保存在 mongodb 中,任何人都可以帮助我。
from ..items import FlipkartItem
import json
import scrapy
import re
class FlipkartscrapySpider(scrapy.Spider):
name = 'flipkartscrapy'
def start_requests(self):
urls = ['https://www.flipkart.com/clothing-and-accessories/topwear/pr?sid=clo%2Cash&otracker=categorytree&p%5B%5D=facets.ideal_for%255B%255D%3DMen&page={}',
'https://www.flipkart.com/womens-footwear/pr?sid=osp%2Ciko&otracker=nmenu_sub_Women_0_Footwear&page={}']
for url in urls:
for i in range(1,25):
x = url.format(i)
yield scrapy.Request(url=x, callback=self.parse)
def parse(self, response):
items = FlipkartItem()
name = response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "IRpwTa", " " ))]').xpath('text()').getall()
brand = response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "_2WkVRV", " " ))]').xpath('text()').getall()
original_price = response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "_3I9_wc", " " ))]').xpath('text()').getall()
sale_price = response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "_30jeq3", " " ))]').xpath('text()').getall()
image_url = response.css('._1a8UBa').css('::attr(src)').getall()
product_page_url =response.css('._13oc-S > div').css('::attr(href)').getall()
items['name'] = name
items['brand'] = brand
items['original_price'] = original_price
items['sale_price'] = sale_price
items['image_url'] = image_url
items['product_page_url'] = 'https://www.flipkart.com' + str(product_page_url)
yield items
原始价格输出如下original_price
:
['₹', '999', '₹', '1,499', '₹', '1,888', '₹', '2,199', '₹', '1,499', '₹', '1,069', '₹', '1,099', '₹', '1,999', '₹', '2,598', '₹', '1,299', '₹', '1,999', '₹', '899', '₹', '1,099', '₹', '1,699', '₹', '1,399', '₹', '999', '₹', '999', '₹', '1,999', '₹', '1,099', '₹', '1,199', '₹', '999', '₹', '999', '₹', '1,999', '₹', '1,287', '₹', '999', '₹', '1,199', '₹', '899', '₹', '999', '₹', '1,849', '₹', '1,499', '₹', '999', '₹', '999', '₹', '899', '₹', '1,999', '₹', '1,849', '₹', '3,499', '₹', '2,397', '₹', '899', '₹', '1,999']
最佳答案
items['original_price'] = [original_price[i]+original_price[i+1] for i in range(0, len(original_price), 2)]
关于python - 想抓取flipkart,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67293952/