python - 如何使用 selenium 执行网页上的所有 javascript 内容以在完全加载的网页上查找和发送登录表单信息

Question

我一直在尝试制作一个 Python 脚本来登录某个网站、浏览菜单、填写表格并将它生成的文件保存到一个文件夹中。

我一直在使用 Selenium 尝试让网站完全加载，这样我就可以找到登录元素，但我没有成功，可能是因为网站在完全加载之前做了很多 JavaScript 内容，但我无法使其完全加载并显示我想要的数据。

我尝试了 Robobrowser、Selenium、Requests 和 BeautifulSoup 来完成它。

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

url = "https://directa.natal.rn.gov.br/"

driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")
driver.get(url)

html = driver.execute_script("return document.documentElement.outerHTML")
sel_soup = BeautifulSoup(html, 'html.parser')

senha = driver.find_element_by_xpath('//*[@id="senha"]')
senha.send_keys("123")

我希望用“123”填充密码 (senha) 字段，但我什至找不到该元素。

Answer 1

似乎这里需要的是一点点滚动、等待和切换，以防登录字段还没有准备好输入:) 下面应该可以工作，我们实际上滚动到元素，切换到iframe，在我们与登录表单的其余部分交互之前。您可以将延迟从 5 秒调整为您喜欢的任何值。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

""" Variables """
url = "https://directa.natal.rn.gov.br/"
delay = 5 # seconds

""" Initiate driver """
driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")

""" Go to url """
driver.get(url)

""" Iframe switch """
WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"frame[name='mainsystem'][src^='main']")))


""" Attempt to get all our elements """
try:
    """ Username """
    usuario = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'usuario')))
    """ Password """
    senha = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'senha')))

    print("All elements located!")

except TimeoutException:
    print("Loading took too much time!")
    exit(0)

"""Scroll to our element """
driver.execute_script("arguments[0].scrollIntoView();", usuario)

""" Input data into our fields """
usuario.send_keys("username")
senha.send_keys("password")

""" Locate our login element """
login = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'acessar')))

""" Click Login """
login.click()