javascript - 如何从 Xpath 中的 javascript 事件处理程序获取链接？

Question

下面给出了 Html 代码片段。我想要一些response.xpath(......)来获取分页的链接。我尝试做

 response.xpath('//*[@class="ui2-pagination-pages"]/a/@href').extract()   

但它没有给出任何东西。我在这里做错了什么？谢谢。

<div class="ui2-pagination-pages">
         <a href="javascript:void(0)" class="prev" data-role="prev">Prev</a>
        <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_1.html">1</a>
         <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_2.html">2</a>
        <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_3.html">3</a>
        <span class="current">4</span>
         <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_5.html">5</a>
         <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-<span class="interim">...</span>
        <a rel="nofollow" href="//www.alibaba.com/showroom/acrylic-wine-box_103.html">103</a>
        <a href="javascript:void(0)" class="next" data-role="next">Next</a>
        </div>

我想废弃所有分页链接并希望循环浏览它。我该怎么做？

Answer 1

发生这个问题是因为您想要抓取的网站使用 Javascript 来呈现其内容，并且基本上蜘蛛无法执行 javascript 代码，他们没有可以真正解释它的引擎，为此目的 ScrapingHub 团队创建了一个名为scrapysplash的插件。

你可以从他们的官方github页面查看:Github