javascript - 使用 AJAX 请求抓取页面

标签 javascript ajax node.js web-scraping

我使用 Node.js 和 jsDOM 来抓取网页并在其中执行 JavaScript。但是,如果页面包含 AJAX 请求,则不会执行这些请求。

是否有在抓取的页面中执行 AJAX 调用的选项?

最佳答案

您需要模拟 XMLHTTPRequests。这是一个 abstraction .它们在 node.js 中不是开箱即用的。

你将不得不弄清楚如何让它与 jsdom 对话。 (希望只需将 xmlhttprequest 构造函数附加到 window 即可修复它)

关于javascript - 使用 AJAX 请求抓取页面,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6152959/

相关文章:

javascript - 从 Javascript 数组或类型化数组继承

javascript - 使用 snap.svg 沿 svg 路径对对象进行动画制作和定向

javascript - CSS动态调整div重叠

javascript - 默认下拉字段

javascript - 通过 AJAX 处理身份验证?

javascript - Node.js 作为移动 + Angular 管理面板的服务

javascript - 使用 node.js 的 mailchimp-api 插件将用户添加到 mailchimp 邮件列表

c# - 未知的网络方法。参数名称 : methodName

asp.net-mvc - 对 ASP.Net MVC 授权的更多控制;保持 AJAX 请求 AJAX

javascript - 将变量注入(inject)函数作用域