html - 在网页抓取期间修改 HTML 内容

标签 html xpath selenium-webdriver web-scraping beautifulsoup

我尝试做一些网页抓取

目标是根据邮政编码收集所有补救措施。问题是当我尝试我的代码时,我的列表是空的,因为 url 没有根据邮政编码更改。这就是我想在抓取过程中更改 HTML 值的原因。

我不知道该怎么做。我尝试使用 SeleniumXPATH 但是我找不到任何东西。

这是 HTML 代码:(红色部分是我需要更改的部分。)

编辑:确实,目标是根据邮政编码收集带有名称和治疗类型的分页,这就是为什么我想在抓取期间更改 HTML 内容。

这是目前我能做的最好的,我希望你能看到错误

最佳答案

此输入采用表单形式,这很好,因为 Selenium 具有处理表单的特殊功能。

from selenium import webdriver

url = "https://www.maif.fr/services-en-ligne/consultationreparateurs/geolocaliserReparateur.action?view"
query = "whatever you want to put into the search box"
driver = webdriver.Chrome()
driver.get(url)
webform_input = driver.find_element_by_xpath("//input[@id='adresseInternaute']")
webform_input.send_keys(query)
webform_input.submit()

这里的关键是submit()。它会遍历 HTML 树,直到在当前表单中找到一个按钮,这意味着您不必为了单击搜索按钮而额外编写两行代码。

关于html - 在网页抓取期间修改 HTML 内容,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46834090/

相关文章:

java - 如何在没有 By 定位器的情况下使用 WebDriverWait.until?

python - 使用 selenium python 使用复合类解析 HTML 内容

javascript - 在 html/javascript 警报中进行测验不起作用

html - 带有 Bootstrap 的轮播、 Accordion 和警报

Python 3.6 Selenium 如何通过父节点的引用找到子节点(xPath)

xpath - 如何按第一个版本创建日期查询Sitecore项目?

java - StaleElementReferenceException : Element not found in the cache - perhaps the page has changed since it was looked up Command duration or timeout

html - 如何提取向下滚动时进一步加载的完整表格?

javascript - 如何让css选择器排除一个元素?

html - XPath - 选择不包含元素的元素