python - 如何使用 Chrome 的 webdriver 单击由节点/角度脚本按钮生成的 'Next page'？

Question

我正在尝试从一个网站上抓取数据，该网站返回跨多个页面的搜索条件的结果...使用 Selenium、Python 上的 beautifulsoup。第一页很容易阅读。移至下一页需要单击“>”按钮。该元素如下所示:

<a href ng-click="selectPage(page + 1, $event)" class="ng-binding">Next 

我尝试了以下方法:

browser = webdriver.Chrome()
browser.get ("https:www....com/search/?lat=dfdfd  ")
page = browser.page_source
soup = BeautifulSoup(page, 'html.parser')
# scraping the first page
#now need to click on the ">" , so that it can take me to the next page

控件应该转到下一页，以便我可以抓取。有 这些结果大约有 250 页。

Answer 1

在 Chrome 中，如果右键单击页面，上下文菜单中将会出现一个名为“检查”的选项。单击它并在 html 中找到该元素。找到它后，右键单击它并转到“复制”>“复制 XPath”。然后，您可以使用 browser.find_element_by_xpath 方法将该元素分配给变量。然后您可以使用 element.click() 来单击它。