所以标题说明了一切。我正在尝试根据我提供的搜索词来抓取连接。一旦页面呈现，所有连接都不在 html 中，就好像它们被隐藏一样，直到我向下滚动才能看到它们。有没有办法使用 Selenium 一次显示所有连接？我没有要发布的代码，因为这只是一个问题。
最佳答案
你可以使用selenium向下滚动页面，加载你想要抓取的数据。
下面的代码将滚动到页面底部:
...
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
...
我有一个用例，我必须连续多次点击页面底部才能加载内容并获取我需要的所有数据，其中我使用了上述方法。
希望这有帮助...
关于python - 使用 Python 抓取 linkedin 连接，但只显示了一些 - Selenium 和 BeautifulSoup，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52572392/