python - scrapy : find element which has particular text

Question

我正在使用scrapy进行爬行。我正在获取网站的全部内容。

import scrapy
import os

class QuotesSpider(scrapy.Spider):
    name = "team"

    def start_requests(self):
        yield scrapy.Request(url='http://*****.com', callback=self.get_scripts)

    def get_scripts(self, response):
        print response.css("body").extract()

    def get_scripts(self, response):
        print response.css("body").extract()

现在我正在搜索一个文本，我可以通过 python 简单搜索文本/子字符串来获取该文本。我想要的是选择该文本匹配的选择器。请告知执行此操作的最佳方法是什么。

Answer 1

你可以做这样的事情。

response.xpath("//*[contains(text(), 'MY TEXT')]").getall()

它将返回包含MY TEXT的所有项目的列表