python - 按复合类名搜索时 BeautifulSoup 返回空列表

标签 python regex python-2.7 beautifulsoup html-parsing

当使用正则表达式按复合类名搜索时,BeautifulSoup 返回空列表。

例子:

import re
from bs4 import BeautifulSoup

bs = 
    """
    <a class="name-single name692" href="www.example.com"">Example Text</a>
    """

bsObj = BeautifulSoup(bs)

# this returns the class
found_elements = bsObj.find_all("a", class_= re.compile("^(name-single.*)$"))

# this returns an empty list
found_elements = bsObj.find_all("a", class_= re.compile("^(name-single name\d*)$"))

我需要非常精确的类(class)选择。有什么想法吗?

最佳答案

不幸的是,当您尝试对包含多个类的类属性值进行正则表达式匹配时,BeautifulSoup 会将正则表达式分别应用于每个类。以下是有关该问题的相关主题:

这都是因为class is a very special multi-valued attribute每次解析 HTML 时,BeautifulSoup 的树构建器之一(取决于解析器的选择)在内部将类字符串值拆分为类列表(引用自 HTMLTreeBuilder的文档字符串):

# The HTML standard defines these attributes as containing a
# space-separated list of values, not a single value. That is,
# class="foo bar" means that the 'class' attribute has two values,
# 'foo' and 'bar', not the single value 'foo bar'.  When we
# encounter one of these attributes, we will parse its value into
# a list of values if possible. Upon output, the list will be
# converted back into a string.

有多种解决方法,但这里有一个 hack-ish 方法 - 我们将要求 BeautifulSoup 不要将 class 处理为多值属性,方法是使我们的简单的自定义树生成器:

import re

from bs4 import BeautifulSoup
from bs4.builder._htmlparser import HTMLParserTreeBuilder


class MyBuilder(HTMLParserTreeBuilder):
    def __init__(self):
        super(MyBuilder, self).__init__()

        # BeautifulSoup, please don't treat "class" specially
        self.cdata_list_attributes["*"].remove("class")


bs = """<a class="name-single name692" href="www.example.com"">Example Text</a>"""
bsObj = BeautifulSoup(bs, "html.parser", builder=MyBuilder())
found_elements = bsObj.find_all("a", class_=re.compile(r"^name\-single name\d+$"))

print(found_elements)

在这种情况下,正则表达式将作为一个整体应用于 class 属性值。


或者,您可以在启用 xml 功能的情况下解析 HTML(如果适用):

soup = BeautifulSoup(data, "xml")

您还可以使用 CSS selectors并将所有元素与 name-single 类和以“name”开头的类匹配:

soup.select("a.name-single,a[class^=name]")

然后您可以根据需要手动应用正则表达式:

pattern = re.compile(r"^name-single name\d+$")
for elm in bsObj.select("a.name-single,a[class^=name]"):
    match = pattern.match(" ".join(elm["class"]))
    if match:
        print(elm)

关于python - 按复合类名搜索时 BeautifulSoup 返回空列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34288969/

相关文章:

python - 使用 .join() 操作嵌套字典的内部字典元素

python - 在Python中使用BeautifulSoup处理网页时,如何通过**class**或**div id**值过滤href链接?

python - 让 Python 在不同时间打印行

python - 每天转换数据框行中给出的每个日期范围的数据

Python:如何写入 CSV 并将 DataFrame 中的日期附加到文件名

python - 如何在 python 或 linux 中从文本文件中的某个单词后提取信息?

php - 将 javascript 正则表达式转换为 php

javascript - 将捕获组与 SEPA 银行编号的量词相结合的正则表达式

python - 正则表达式:最小可能的子字符串匹配

python - 使用 BeautifulSoup 从单个博客存档页面提取多个帖子,无需脚本