python - 获取需要用户交互的页面

标签 python web-crawler fetch urllib3

在 Python 中,我尝试从特定网站获取页面。 在此网站中,有些部分的信息无法在 HTML 页面中完全访问,需要一些用户交互。更清楚地说,有一些评论,但长评论被缩短了,要查看整个评论,用户必须单击“更多”超链接。有没有办法在 Python 中处理这些超链接并获取所有这些情况的完整评论?

这是“更多”超链接的快照:

<span class="bla bla" onclick="ta.util.cookie.setPIDCookie(123); ta.call('ta.servlet.Reviews.expandReviews',event,this,'review_331979201', '1', 123);"> More </span>

最佳答案

您可以使用 selenium webdriver api 例如,请参阅此

https://www.reddit.com/r/selenium/comments/2lscf4/clicking_a_button_using_selenium_python/

要阅读完整的文档,请使用 http://www.seleniumhq.org/docs/

关于python - 获取需要用户交互的页面,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34402510/

相关文章:

python - 代码中 'isalnum'方法无法正常工作

javascript - 在 node.js 中将 rejectUnauthorized 与 node-fetch 一起使用

web-crawler - 从网站获取图片

php - Facebook 爬虫严重攻击我的服务器并忽略指令。多次访问同一个资源

Java 网络爬虫库

javascript - 忽略提取中的自签名 SSL 证书

javascript - 使用来自 componentDidMount React 中的 fetch 的属性渲染组件

python - 为什么使用 Python 的多行字符串替换适用于硬编码字符串,但在从文件中读取字符串时却不行?

python - Plotly:两行子图中的刻度标签问题

python - Pandas - 多轴上的 groupby() 上的 cumsum()