javascript - Scrapy 返回 xpath 的空列表

Question

我正在使用 Scrapy 从 openreview url 获取摘要。例如，我想获取 http://openreview.net/forum?id=Bk0FWVcgx 的摘要，并在执行后

$ scrapy shell "http://openreview.net/forum?id=Bk0FWVcgx" $ response.xpath('//span[@class="note_content_value"]').extract()

我回来了[] 。另外，当我这样做view(response)时我被引导到一个空白网站 file:///var/folders/1j/_gkykr316td7f26fv1775c3w0000gn/T/tmpBehKh8.html .

此外，检查 openreview 网页显示存在我以前从未见过的脚本元素。当我打电话时

response.xpath(//script).extract()我得到的东西像 u'<script src="static/libs/search.js"></script>'例如。

我读过一些关于这与 javascript 有关的内容，但我是 Scrapy 的初学者，不确定如何绕过它并获得我想要的东西。

Answer 1

我发现该页面使用 JavaScript/AJAX 加载地址中的所有信息
http://openreview.net/notes?forum=Bk0FWVcgx&trash=true

但它需要两个 cookie 才能访问此信息。第一个服务器发送 cookie GCLB。稍后页面加载 http://openreview.net/token并获取第二个 cookie openreview:sid。之后页面就可以加载 JSON 数据了。

这是带有请求的工作示例

import requests

s = requests.Session()

# to get `GCLB` cookie
r = s.get('http://openreview.net/forum?id=Bk0FWVcgx')
print(r.cookies)

# to get `openreview:sid` cookie
r = s.get('http://openreview.net/token')
print(r.cookies)

# to get JSON data
r = s.get('http://openreview.net/notes?forum=Bk0FWVcgx&trash=true')
data = r.json()
print(data['notes'][0]['content']['title'])

<小时/>

其他解决方案:使用Selenium或其他工具运行JavaScript代码，然后您可以获得包含所有信息的完整HTML。 Scrapy 可能可以使用 Seleniu 或 PhantomJS 来运行 JavaScript。但我最近尝试使用 Scrapy。