python - lxml 树头和其他一些元素损坏

Question

针对以下问题，我尝试了多种不同的解决方案，但目前找不到有效的解决方案。 我需要从几个网页的元标记中获取一些信息。为此，我发现 lxml 非常有用，因为我还需要使用 xpath 来解析它来查找特定内容。 XPath 在树上可以工作，但是，我有 20% 的网站(总共大约 100 个)无法工作，特别是头似乎坏了。

tree = html.fromstring(htmlfrompage)  // using html from lxml package
head_object = tree.head               // access to head object from this webpage

在所有这些网站中，访问 head 对象(这只是 xpath 的快捷方式)都会失败并出现相同的错误:

print tree.head
IndexError: list index out of range

因为以下 xpath 失败:

self.xpath('//head|//x:head', namespaces={'x':XHTML_NAMESPACE})[0]

此 xpath 为空，因此访问第一个元素失败。我自己在树中导航， self.xpath('//head') 或 self.xpath('//html/head') 甚至 self.xpath('//body') 是空的。但是如果我尝试直接在文档的任何位置访问元标记:

head = tree.xpath("//meta")
for meta_tag in head:
    print meta_tag.text  # Just printing something

它有效，所以这意味着元数据没有连接到头部，但它们漂浮在树中的某个地方。反正头也不存在。当然，我可以尝试“修补”这个访问 head 的问题，如果我遇到索引超出范围的异常，我可以导航元数据以找到我正在寻找的内容，但我期望 lxml 修复损坏的 html(正如我在文档中读到的那样) )。

有没有人遇到同样的问题并且可以以更好的方式解决它？

Answer 1

使用requests我可以很好地加载树:

>>> import requests
>>> from lxml import html
>>> r = requests.get('http://www.lanacion.com.ar/1694725-ciccone-manana-debera-declarar-carosso-donatiello-el-inquilino-de-boudou')
>>> tree = html.fromstring(r.content)
>>> tree.head
<Element head at 0x10681b4c8>

请注意，您想要将字节字符串传递给 html.fromstring() ;不要使用r.text因为它将改为传递 Unicode。

此外，如果服务器未在 header 中指示编码，requests回退到 HTTP RFC 默认值，即 text/ 的 ISO-8859-1回应。对于这个不正确的具体响应:

>>> r.headers['Content-Type']
'text/html'
>>> r.encoding
'ISO-8859-1'
>>> r.apparent_encoding  # make an educated guess
'utf-8'

这意味着r.text将使用 Latin-1 来解码 UTF-8 数据，导致 Unicode 字符串解码错误，进一步造成困惑。

另一方面，HTML 解析器可以利用 <meta> header 告诉它要使用什么编码:

>>> tree.find('.//meta').attrib
{'content': 'text/html; charset=utf-8', 'http-equiv': 'Content-Type'}