python - 如何在 Python 中使用 Selenium 获取 h1 标签

Question

我想自动从yahoo finance抓取h1标签对于给定的股票名称(Netflix 将作为示例)。这是我到目前为止得到的:

from selenium import webdriver
import time
 
driver = webdriver.Firefox() # Select the browser
driver.get('https://finance.yahoo.com/') # Open the website

time.sleep(2)

try:
    driver.find_element_by_name("agree").click() #Check for cookie alert
except:
    print("No cookies today!")

searchbar = driver.find_element_by_id("yfin-usr-qry") #Find searchbar
searchbar.send_keys("NFLX") #Send the stock name
time.sleep(2)
searchbutton = driver.find_element_by_id("search-buttons") #Enter the search
searchbutton.click()

#This is where I need help

title = driver.find_element_by_tag_name("h1")

print(str(title))

一切正常，直到我尝试通过 .find_element_by_tag_name("h1") 获取标题:Netflix, Inc. (NFLX)。 html源代码如下所示:

<div class="D(ib) " data-reactid="6">
    <h1 class="D(ib) Fz(18px)" data-reactid="7">Netflix, Inc. (NFLX)</h1>
</div>

如果我想要获取的元素有id，那么通过Selenium访问它是没有问题的。仅当我处理“奇怪”的类名或缺少 id 时，才会出现此问题。其他几个网站也有这个问题。提前致谢!

Answer 1

位置命令在元素加载之前执行。感谢 rekeson21 我找到了两个解决方案来解决这个问题:

time.sleep(6)
title = driver.find_element_by_xpath('//h1').text
print(title)

from selenium.webdriver.support import expected_conditions as EC

title = WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, '//h1/text()[contains(.,"NFLX")]/parent::*'))).text

print(title)

这两种情况的输出是:

Netflix, Inc. (NFLX)