python - 查找与 Beautiful Soup 的特定链接

Question

我正在使用 Beautiful Soup for Python 来解析网页，以便从某些文件下载数据并将它们聚合到一个文件中。我正在解析的网页包含大量不同的下载链接，但我无法获取我想要的特定链接。

HTML 基本上是这样设置的:

<li> <b>data I dont care about: </b>
<a href ="/id#____dontcare2010">2010</a> <a href = "/id#____dontcare2011">2011</a> (and so on)
</li>

<li> <b>data I DO care about: </b>
< a href ="/id#___data2010">2010</a> <a href= "/id#____data2011">2011</a> ....
</li>

(id#____ 只是该网页包含信息的特定对象的 ID 号，对于问题来说不太重要，但我认为我会尽可能准确)

我想要的是 BeautifulSoup 找到包含字符串“我关心的链接:”的列表(“<li> ”标签)，然后将该列表中的每个链接存储到 Python 列表中。我试过了，

soup.findAll('li', text = 'Links I DO care about: ")

但这似乎不起作用......

我想有一些方法可以用 Beautiful Soup 来完成这些步骤: 1.找到我想要的具体列表 2.找到所有<a href="..."></a>该列表中的标签 3. 将所有这些链接存储在 Python 列表中。

不过我似乎找不到办法做到这一点。

有什么建议吗？

Answer 1

text 参数(现在称为 string )不会在元素的子元素文本内搜索(为什么？ - 请参阅此 documentation paragraph 中的最后一个注释，对于每个呈现的 .string 元素， None 实际上将是 li )。我要做的是通过文本找到 b 元素，然后获取所有 a siblings :

b = soup.find("b", text=lambda text: text and "data I DO care about:" in text)
links = [a["href"] for a in b.find_next_siblings("a", href=True)]
print(links)

或者，您可以从 b 到 li go up the tree，然后使用 find_all() 查找 li 内的所有链接:

b = soup.find("b", text=lambda text: text and "data I DO care about:" in text)
li = b.find_parent("li")
links = [a["href"] for a in li.find_all("a", href=True)]
print(links)

当然，还有其他方法可以找到所需的 a 元素。