我想从this page收集数据.我有要在搜索框中输入的关键字,它被定义为 HTML5 <input>
用eventlistener
根据查询动态更改页面。
例如,我想要一个脚本,在搜索字段中输入术语“hello world”,然后抓取动态生成的内容,比如出现的集合的名称。由于同源政策,我不能使用 JavaScript,并且我花了最后 3 个小时研究 Python,但在那里找不到任何东西。
我不知道这是否是如此明显,没有人写/询问它,或者这是一种不让脚本从您的网站上抓取的聪明方法。
最佳答案
在 Chrome 调试器 或 Firefox 中的 Firebug 中打开页面,查看 Network 选项卡 并找出 JavaScript 正在执行的 AJAX 请求当您在输入字段中输入文本时。
然后使用以下任何一种编写网络爬虫:
关于javascript - 使用 HTML5 <input> 字段抓取动态生成的网页,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20533076/