python - BeautifulSoup 不会返回页面上的所有元素

Question

我是网络抓取新手，刚刚开始使用 BeautifulSoup。这是我的问题。

当您使用“define:lucid”等搜索查询在 Google 中查找单词时，大多数情况下，首页会出现一个显示含义和发音的面板。 (显示在嵌入图像的左侧)

[Google 默认词典示例]

我想要自动抓取和收集的是含义的文本和存储发音的mp3数据的URL。手动使用Chrome Inspector，可以在其“Elements”部分轻松找到这些内容，例如，Inspector(如图像右侧所示)显示URL，其中存储“lucid”发音的mp3数据(here) .

但是，使用requests获取搜索结果的HTML内容并使用BeautifulSoup进行解析，如下面的代码，soup只获取面板中的少量内容，例如国际音标“/ˈluːsɪd/”和属性“形容词”如下结果，并没有找到我需要的内容，比如音频元素中的东西。

如果可能的话，如何使用 BeautifulSoup 获取信息，否则哪些替代工具适合此任务？

附注我认为谷歌词典的发音质量比任何其他词典网站的发音质量都要好。所以我想坚持下去。

代码:

import requests
from bs4 import BeautifulSoup

query = "define:lucid"
goog_search = "https://www.google.co.uk/search?q=" + query

r = requests.get(goog_search)

soup = BeautifulSoup(r.text, "html.parser")
print(soup.prettify())

部分汤内容:

           </span>
           <span style="font:smaller 'Doulos SIL','Gentum','TITUS Cyberbit Basic','Junicode','Aborigonal Serif','Arial Unicode MS','Lucida Sans Unicode','Chrysanthi Unicode';padding-left:15px">
            /ˈluːsɪd/
           </span>
          </div>
         </h3>
         <table style="font-size:14px;width:100%">
          <tr>
           <td>
            <div style="color:#666;padding:5px 0">
             adjective
            </div>

Answer 1

您运行的基本请求不会返回通过 JavaScript 呈现的页面部分。如果您在 Chrome 中右键单击并选择查看页面源，则音频链接不存在。解决方案:您可以通过 selenium 渲染页面。使用下面的代码我得到 <audio>包含链接的标签。

你必须pip install selenium ，下载ChromeDriver并将包含它的文件夹添加到 PATH喜欢 export PATH=$PATH:~/downloads/

import requests
from bs4 import BeautifulSoup
import time
from selenium import webdriver

def render_page(url):
    driver = webdriver.Chrome()
    driver.get(url)
    time.sleep(3)
    r = driver.page_source
    #driver.quit()
    return r

query = "define:lucid"
goog_search = "https://www.google.co.uk/search?q=" + query

r = render_page(goog_search)

soup = BeautifulSoup(r, "html.parser")
print(soup.prettify())