python - 如何在 Scrapy 中使用全局变量解析响应？

Question

我将我的 start_requets 方法修改为:

def start_requests(self):
    array = list(open("file", 'r'))
    for i in array:
        yield self.make_requests_from_url("http://example.org/test.php?id=" + i)

如何在parse方法中访问i的值？

我尝试设置全局变量idd并添加

global idd
idd = i

在 start_requests 方法中，然后

def parse(self, response):
    item = DataItem()
    item['id'] = idd

但是所有项目的 id 字段都填充了 idd 的最后一个值。

如何解决这个问题？

Answer 1

一个(可能也是最简单的)选择是将其传递到 meta 内部:

yield scrapy.Request("http://example.org/test.php?id=" + i, 
                     meta={"index": i},
                     dont_filter=True)

然后，在parse()中读取它:

def parse(self, response):
    index = response.meta["index"]