python - 为什么 response.xpath ('//html' ) 的结果与 response.body 不同？

Question

我正在尝试使用 scrapy 解析此页面 http://mobileshop.ae/one-x

我需要提取产品的链接。 问题是链接在 response.body 结果中可用，但如果您尝试 response.xpath('//body').extract()

response.body和response.xpath('//body')的结果是不一样的。

>>> body = response.body
>>> body_2 = response.xpath('//html').extract()[0]
>>> len(body)
238731
>>> len(body_2)
67520

response.xpath('.').extract()[0] 的相同简短结果

知道为什么会发生这种情况吗？我该如何提取所需的数据？

Answer 1

所以，这里的问题是该页面中有很多格式错误的内容，包括几个未关闭的标签。解决此问题的一种方法是使用 lxml's soupparser解析格式错误的内容(在幕后使用 BeautifulSoup)并用它构建一个 Scrapy Selector。

使用 scrapy shell http://mobileshop.ae/one-x 的示例 session :

>>> from lxml.html import soupparser
>>> from scrapy import Selector
>>> sel = Selector(_root=soupparser.fromstring(response.body))
>>> sel.xpath('//h4[@class="name"]/a').extract()
[u'<a href="http://mobileshop.ae/one-x/htc-one-x-16gb-gray">HTC One X 3G 16GB Grey</a>',
 u'<a href="http://mobileshop.ae/one-x/htc-one-x-16gb-white">HTC One X 3G 16GB White</a>',
 u'<a href="http://mobileshop.ae/one-x/htc-one-x-32gb-gray">HTC One X 3G 32GB Grey</a>',
 u'<a href="http://mobileshop.ae/one-x/htc-one-x-32gb-white">HTC One X 3G 32GB White</a>']

请注意，使用 BeautifulSoup 解析器比 lxml 的默认解析器慢很多。您可能只想在真正需要的地方执行此操作。