python - 有多个类的 Scrapy 抓取 div?

标签 python html xpath web-scraping scrapy

我正在尝试获取类的 div:“产品”。问题是,某些类为“product”的 div 也有类“product-small”。所以当我使用 xpath('//div[@class='product']') ,它只捕获一个类别的 div,而不是多个。我怎样才能用 scrapy 做到这一点?

例子:

  • 渔获量:<div class='product'>
  • 没有捕捉到:<div class='product product-small'>

最佳答案

这也可以用 xpath 来解决。你只需要使用 contains() :

//div[contains(concat(' ', normalize-space(@class), ' '), ' product ')]

不过,是的,CSS 选择器 选项更加紧凑和可读。

关于python - 有多个类的 Scrapy 抓取 div?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28140421/

相关文章:

Python Flask 通过所有模块记录请求正文

python - 检查系列中每一行数据类型的有效方法

javascript - 带有 Sqrt、COS、SIN、log 和后退按钮的在线计算器

html - Chrome 无法滚动

python - Django - 如何根据多个字段编辑数据库中的特定行?

python - 如何使用 Celery 从 Python 代码动态添加/停止 worker

javascript - 需要 jquery 或 javascript 来限制 textarea 中的每行长度

使用 Scrapy 抓取大小信息的 Xpath

xpath - Xpath,计数节点,其中属性为null

java - 如何仅使用属性来定位 Selenium 中的元素,而不管属性包含什么值