我有许多网页正在尝试解析使用 curl 获取的信息。每个页面都使用 JQuery 在浏览器中加载文档时转换其内容(使用 document.ready 函数)——主要是设置 div 的类/id。一旦加载了 Javascript 函数,信息就更容易解析了。
我有哪些选项(最好是从命令行)执行页面的 Javascript 内容并转储转换后的 HTML?
最佳答案
要抓取动态网页,请不要使用像 curl 这样的静态下载工具。
如果您想抓取动态网页,请使用您可以通过编程语言控制的 headless 网页浏览器。最流行的工具是 Selenium
http://code.google.com/p/selenium/
使用 Selenium,您可以将修改后的 DOM 树作为 HTML 从浏览器中导出。
示例用例:
关于javascript - 从命令行执行 HTML Javascript,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10671978/