python - 当每大约 1 秒添加新的 div 时，如何使用 Python 从 Selenium 中的 div 中提取文本？

Question

我正在尝试使用 Selenium 从网页上的 div 中提取内容。 网页是动态生成的，大约每隔一秒就会有一个新的 div 插入到网页的 HTML 中。

到目前为止，我有以下代码:

from selenium import webdriver

chrome_path = r"C:\scrape\chromedriver.exe"

driver = webdriver.Chrome(chrome_path)

driver.get("https://website.com/")

messages = []
for message in driver.find_elements_by_class_name('div_i_am_targeting'):
    messages.append(message.text)

for x in messages:
    print(x)

效果很好，问题是它只在运行时打印页面上 div 的值，我想连续从 the_div_i_am_targeting 中提取文本> 并且每隔一秒左右就会有新的 div 出现在页面上。

我发现了这个: Handling dynamic div's in selenium 这是我能找到的最相关的问题，但它与我的问题不匹配，并且没有答案。

如何更新上述代码，以便它连续打印页面上我选择的 div 的 div 内容(在此示例中 div_i_am_targeting)，包括之后添加到页面的新 div程序运行时？

Answer 1

您可以应用以下代码来连续打印所需div的内容:

from selenium.webdriver.support.ui import WebDriverWait as wait
from selenium import webdriver

chrome_path = r"C:\scrape\chromedriver.exe"

driver = webdriver.Chrome(chrome_path)
driver.get("https://website.com/")
# Get current divs
messages = driver.find_elements_by_class_name('div_i_am_targeting')
# Print all messages
for message in messages:
    print(message.text)

while True:
    try:
        # Wait up to minute for new message to appear
        wait(driver, 60).until(lambda driver: driver.find_elements_by_class_name('div_i_am_targeting') != messages)
        # Print new message
        for message in [m.text for m in driver.find_elements_by_class_name('div_i_am_targeting') if m not in messages]:
            print(message)
        # Update list of messages
        messages = driver.find_elements_by_class_name('div_i_am_targeting')
    except:
        # Break the loop in case no new messages after minute passed
        print('No new messages')
        break