python - 在 python 中使用 beautifulsoup 单击链接

标签 python web-scraping beautifulsoup

在 mechanize 中,我们使用 follow_link 或 click_link 单击链接。美汤有没有类似点击网页链接的事情?

最佳答案

BeautifulSoup 是一个 HTML 解析器

进一步的讨论实际上取决于您所处的具体情况和特定网页的复杂性。

如果您需要与网页交互:提交表单、单击按钮、滚动等 - 您需要使用一个利用真实浏览器的工具,例如 selenium .

在某些情况下,例如,如果提交表单时不涉及 javascript,mechanize也会为你工作。

而且,有时您只需点击带有 urllib2 的链接即可处理它或 requests .

关于python - 在 python 中使用 beautifulsoup 单击链接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23679480/

相关文章:

python - 在python中执行K-means算法后得到第i个簇

python - 当代码命中缺失值时如何修复 Web 抓取 Python 代码 "IndexError: list index out of range"

python - scrapy如何重复重复的请求

arrays - 如何在 Google Sheet 中转置此数据以进行 importhtml

python - 转到下一页使用 BeautifulSoup 进行抓取

python - django 如何使用丑陋的网址

python - 使用字符串变量格式化 timedelta

python - 如何使用 "requests"模块 python 进行简单的快速请求?

python - 为什么 BeautifulSoup 无法正确读取/解析此 RSS (XML) 文档?

python - 如何使用带有完整标题的python导入csv文件,其中第一列是非数字