python - Scrapy - 抓取多个项目

Question

对 scrapy 还很陌生，所以请多多包涵。

首先，这是我的代码:

from scrapy.spider     import BaseSpider
from scrapy.selector     import HtmlXPathSelector
from usdirectory.items    import UsdirectoryItem
from scrapy.http    import Request


class MySpider(BaseSpider):
    name         = "usdirectory"
    allowed_domains    = ["domain.com"]
    start_urls    = ["url_removed_sorry"]

    def parse(self, response):
        hxs     = HtmlXPathSelector(response)
        titles     = hxs.select('//*[@id="holder_result2"]/a[1]/span/span[1]/text()').extract()
        for title in titles:
                item = UsdirectoryItem()
                item["title"] = title
                item


        yield item

这行得通......但它只抓取第一个项目。

我注意到在我试图抓取的项目中，每一行的 Xpath 都会发生变化。例如，第一行是您在上面看到的 xpath:

//*[@id="holder_result2"]/a[1]/span/span[1]/text()

然后它递增 2，一直到 29。所以第二个结果:

//*[@id="holder_result2"]/a[3]/span/span[1]/text()

最后结果:

//*[@id="holder_result2"]/a[29]/span/span[1]/text()

所以我的问题是如何让脚本获取所有这些，我不在乎是否必须为每个项目复制和粘贴代码。所有其他页面完全相同。我只是不确定该怎么做。

非常感谢。

编辑:

import scrapy
from scrapy.item import Item, Field

class UsdirectoryItem(scrapy.Item):
    title = scrapy.Field()

Answer 1

鉴于模式与您描述的完全一样，您可以使用 XPath modulo operator mod 在 a 的位置索引上获取所有目标 a 元素:

//*[@id="holder_result2"]/a[position() mod 2 = 1]/span/span[1]/text()

要进行快速演示，请考虑以下输入 XML:

<div>
 <a>1</a>
 <a>2</a>
 <a>3</a>
 <a>4</a>
 <a>5</a>
</div>

给定此 XPath /div/a[position() mod 2 = 1]，将返回以下元素:

<a>1</a>
<a>3</a>
<a>5</a>

请参阅 xpathtester.com 中的现场演示 here