我正在使用 BeautifulSoup 抓取一个 URL,并且我有以下代码,以查找其类为 'empformbody'
的 td
标记:
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
req = urllib2.Request(url)
response = urllib2.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page)
soup.findAll('td',attrs={'class':'empformbody'})
现在在上面的代码中,我们可以使用 findAll
来获取标签和相关信息,但我想使用 XPath。是否可以将 XPath 与 BeautifulSoup 一起使用?如果可能,请提供示例代码。
最佳答案
不,BeautifulSoup 本身不支持 XPath 表达式。
另一个库,lxml , 确实支持 XPath 1.0。它有一个 BeautifulSoup compatible mode它将尝试以 Soup 的方式解析损坏的 HTML。但是,default lxml HTML parser在解析损坏的 HTML 方面同样出色,而且我相信速度更快。
将文档解析为 lxml 树后,您可以使用 .xpath()
方法搜索元素。
try:
# Python 2
from urllib2 import urlopen
except ImportError:
from urllib.request import urlopen
from lxml import etree
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)
还有一个dedicated lxml.html()
module具有附加功能。
请注意,在上面的示例中,我将 response
对象直接传递给 lxml
,因为让解析器直接从流中读取比将响应读取到首先是大字符串。要对 requests
库执行相同操作,您需要设置 stream=True
并传入 response.raw
对象 after enabling transparent transport decompression :
import lxml.html
import requests
url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)
您可能感兴趣的是 CSS Selector support ; CSSSelector
类将 CSS 语句转换为 XPath 表达式,使您对 td.empformbody
的搜索变得更加容易:
from lxml.cssselect import CSSSelector
td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
# Do something with these table cells.
即将结束:BeautifulSoup 本身确实有非常完整的CSS selector support :
for cell in soup.select('table#foobar td.empformbody'):
# Do something with these table cells.
关于python - 我们可以将 XPath 与 BeautifulSoup 一起使用吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11465555/