我尝试做一些网页抓取
目标是根据邮政编码收集所有补救措施。问题是当我尝试我的代码时,我的列表是空的,因为 url 没有根据邮政编码更改。这就是我想在抓取过程中更改 HTML 值的原因。
我不知道该怎么做。我尝试使用 Selenium
和 XPATH
但是我找不到任何东西。
这是 HTML 代码:(红色部分是我需要更改的部分。)
编辑:确实,目标是根据邮政编码收集带有名称和治疗类型的分页,这就是为什么我想在抓取期间更改 HTML 内容。
这是目前我能做的最好的,我希望你能看到错误
最佳答案
此输入采用表单形式,这很好,因为 Selenium
具有处理表单的特殊功能。
from selenium import webdriver
url = "https://www.maif.fr/services-en-ligne/consultationreparateurs/geolocaliserReparateur.action?view"
query = "whatever you want to put into the search box"
driver = webdriver.Chrome()
driver.get(url)
webform_input = driver.find_element_by_xpath("//input[@id='adresseInternaute']")
webform_input.send_keys(query)
webform_input.submit()
这里的关键是submit()
。它会遍历 HTML 树,直到在当前表单中找到一个按钮,这意味着您不必为了单击搜索按钮而额外编写两行代码。
关于html - 在网页抓取期间修改 HTML 内容,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46834090/