python - 使用 Scrapy 迭代表单

Question

我需要迭代一个表单，用不同的选项填写它。我已经可以使用 Scrapy 和 Python 抓取/抓取数据来获取一组变量，但我需要迭代它们的列表。

目前，我的蜘蛛可以登录、填写表单并抓取数据。

登录并填写我使用的表格:

class FormSpider(CrawlSpider):
    name= 'formSpider'
    allow_domain = ['example.org']
    start_urls = ['https://www.example.org/en-en/']

    age = '35'
    days = '21'
    S1 = 'abc'
    S2 = 'cde'
    S3 = 'efg'
    S4 = 'hij'
 
    def parse(self, response):
        token = response.xpath('//*[@name="__VIEWSTATE"]/@value').extract_first()
        return FormRequest.from_response(response,
                                         formdata={'__VIEWSTATE': token,
                                                   'Password': 'XXXXX',
                                                   'UserName': 'XXXXX'},
                                         callback=self.scrape_main)

我使用此代码来填写表格:

    def parse_transfer(self, response):
            return FormRequest.from_response(response,
                                           formdata={"Age" : self.age,
                                                     "Days" : self.days,
                                                     "Skill_1" : self.S1,
                                                     "Skill_2" : self.S2,
                                                     "Skill_3" : self.S2,
                                                     "Skill4" : self.S3                                                     
                                                     "butSearch" : "Search"},
                                           callback=self.parse_item)

然后，我抓取数据并将其导出为 CSV。

我现在需要的是迭代表单中的输入。我正在考虑使用每个变量的列表来每次更改形式(我只需要一定数量的组合)。

    age = ['35','36','37','38']
    days = ['10','20','30','40']
    S1 = ['abc','def','ghi','jkl']
    S2 = ['cde','qwe','rty','yui'] 
    S3 = ['efg','asd','dfg','ghj']
    S4 = ['hij','bgt','nhy','mju']

所以我可以用如下方式迭代表单:

age[0],days[0],S1[0],S2[0],S3[0],S4[0]... age[1],days[1]... and so on 

有什么推荐吗？我愿意接受不同的选项(不仅仅是列表)以避免创建多个蜘蛛。

更新

这是最终的代码:

    def parse_transfer(self, response):
            return FormRequest.from_response(response,
                                           formdata={"Age" : self.age,
                                                     "Days" : self.days,
                                                     "Skill_1" : self.S1,
                                                     "Skill_2" : self.S2,
                                                     "Skill_3" : self.S2,
                                                     "Skill4" : self.S3                                                     
                                                     "butSearch" : "Search"},
                                           dont_filter=True,
                                           callback=self.parse_item)
    def parse_item(self, response):
        open_in_browser(response)
        # it opens all the websites after submitting the form :)

Answer 1

很难理解您当前的 parse_transfer() 的用途，因为您的 FormSpider 没有 self.skill_1我们可以看到。另外，您可能不需要在这里继承 CrawlSpider 。并将returns更改为yields。

要迭代表单，我建议将您当前拥有的蜘蛛属性替换为将用于迭代的列表。

然后在parse_transfer()中循环

def parse_transfer(self, response):
    for i in range(len(age)):
        yield FormRequest.from_response(response,
                                       formdata={"Age" : self.age[i],
                                                 "Days" : self.days[i],
                                                 "Skill_1" : self.S1[i],
                                                 "Skill_2" : self.S2[i],
                                                 "Skill_3" : self.S3[i],
                                                 "Skill_4" : self.S4[i]
                                                 "butSearch" : "Search"},
                                       callback=self.parse_item)

不过，根据网站接受请求的方式，这可能不是一个可行的解决方案。