javascript - 需要 JavaScript 支持的页面上的 cURL 请求

标签 javascript cookies curl web-scraping spoofing

我需要获取 pinnaclesports.com 的 HTML 源代码。问题是它检测是否启用了 cookie 和 JS,如果没有,它只返回一些页面说

This site requires JavaScript and Cookies to be enabled. Please change your browser settings or upgrade your browser.

有什么方法可以在使用 cURL 时欺骗 JS 支持吗?

编辑:我可以使用作为 Perl/Ruby 模块运行或用 PHP 编写的 headless 浏览器

最佳答案

其他建议是设置用户代理,这个解决方案适用于我在 Google 网上论坛的解析器上:

curl -L -v "https://groups.google.com/d/forum/<GROUP-NAME>" -A "Mozilla/5.0 (compatible;  MSIE 7.01; Windows NT 5.0)"

关于javascript - 需要 JavaScript 支持的页面上的 cURL 请求,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12303134/

相关文章:

PHP cURL 请求返​​回 401,但适用于 Postman

php - curl 错误 :140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol

php - 使用 curl 提交/检索表单结果

javascript - 如何使用 webpack 在 js 文件中加载 CDN 或外部 vendor javascript lib,而不是在 html 文件中

javascript - JS cookie 下降和倒数计时器不工作

javascript - 如何在表示矩形的数组中获取与某个索引成对 Angular 线的元素

ssl - 使用 Curl、SSL 和 cookie 登录

cookies - 如何从这个cookie中提取登录信息?

javascript - header 中带有 javascript 链接的 JQuery slidetoggle div 不会触发

javascript - IOS 禁用键盘标签箭头