javascript - 从命令行执行 HTML Javascript

标签 javascript jquery html web-scraping

我有许多网页正在尝试解析使用 curl 获取的信息。每个页面都使用 JQuery 在浏览器中加载文档时转换其内容(使用 document.ready 函数)——主要是设置 div 的类/id。一旦加载了 Javascript 函数,信息就更容易解析了。

我有哪些选项(最好是从命令行)执行页面的 Javascript 内容并转储转换后的 HTML?

最佳答案

要抓取动态网页,请不要使用像 curl 这样的静态下载工具。

如果您想抓取动态网页,请使用您可以通过编程语言控制的 headless 网页浏览器。最流行的工具是 Selenium

http://code.google.com/p/selenium/

使用 Selenium,您可以将修改后的 DOM 树作为 HTML 从浏览器中导出。

示例用例:

https://stackoverflow.com/a/10053589/315168

关于javascript - 从命令行执行 HTML Javascript,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10671978/

相关文章:

javascript - jquery输入值未定义

javascript for 循环添加问题 - 创建自定义 jQuery 分页

javascript - jQuery 函数在连接字符串后返回 [object Object]

html - Bootstrap 2.3.2 表单,对齐内联表单控件的宽度

javascript - 选中时 JQuery 移动列表中的项目

javascript - 当实际结束时播放列表中的下一个 YouTube 视频

javascript - 淡色答案技巧

javascript - 是否可以查看基于 Firebase 密码的帐户的密码?

javascript - 在 Angular 4 中动态加载 Javascript 脚本

jquery - 使用链接更改单独 div 的类