javascript - 使用 HTML5 <input> 字段抓取动态生成的网页

标签 javascript python html web web-scraping

我想从this page收集数据.我有要在搜索框中输入的关键字,它被定义为 HTML5 <input>eventlistener根据查询动态更改页面。

例如,我想要一个脚本,在搜索字段中输入术语“hello world”,然后抓取动态生成的内容,比如出现的集合的名称。由于同源政策,我不能使用 JavaScript,并且我花了最后 3 个小时研究 Python,但在那里找不到任何东西。

我不知道这是否是如此明显,没有人写/询问它,或者这是一种不让脚本从您的网站上抓取的聪明方法。

最佳答案

Chrome 调试器Firefox 中的 Firebug 中打开页面,查看 Network 选项卡 并找出 JavaScript 正在执行的 AJAX 请求当您在输入字段中输入文本时。

然后使用以下任何一种编写网络爬虫:

关于javascript - 使用 HTML5 &lt;input&gt; 字段抓取动态生成的网页,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20533076/

相关文章:

javascript - 使用 ng-repeat 重新加载时未设置选择项目的内容

javascript - 如何使日历表 > td 成为可选择的表单元素?

javascript - 无法完成 GET 请求

python - Popen.communicate 被卡住,直到子进程产生的进程终止

javascript - 如何为我的交通灯序列 JavaScript 执行连续循环?

python - 在keras中使用multi_gpu_model时出现valueError

python - 使用 pandas 循环遍历 .xlsx 文件,仅执行第一个文件

html - 尽管有 `flex: 1` 和 `flex-basis: 0`,但 Flexbox 子节点并不相等

javascript - realm.io如何在react-native中实现——组件及初始化

javascript - 为什么我的康威生命游戏表现得很奇怪?