node.js - 如何检测来自 Puppeteer 的请求?

标签 node.js puppeteer webautomation

我想知道是否存在网站可以使用它来检测来自 Puppeteer 的请求的标志或标签?

当我运行基于 Puppeteer 的代码访问目标网站时,我发现该网站似乎知道请求是由 Puppeteer 发出的。

怎么办?

最佳答案

如果您正在运行 puppeteer 并希望将一些信息传递到网站以捕获您的爬行,那么最好的方法是设置自定义用户代理:

const browser = await puppeteer.launch({
    args: ['--user-agent=hhh'],
});
const page = await browser.newPage();

here更多信息

反之亦然,如果您拥有一个网站并且想知道访问是真实的还是来自机器人( puppeteer 操纵者、抓取工具或其他任何东西),请参阅 this answer对于其中一些。
还有 this answer

关于node.js - 如何检测来自 Puppeteer 的请求?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58567713/

相关文章:

node.js - 使用 id 更新用户角色的 API - Node

node.js - Jasmine 不与 puppeteer 师合作

headless-browser - 如何使用 puppeteer 启动具有 "do not track"设置的 headless chrome?

dom - 追踪 DOM 元素 id 回到它的 ExtJs 组件

javascript - 如何使用 Puppeteer 在元素上绘制边界框

ruby - 使用 watir 将来自 google Analytics 的测试请求列入黑名单

node.js - Puppeteer:覆盖 API 请求并在没有其他包的情况下使用模拟数据进行响应

node.js 服务器没有响应

javascript - 编译后无法覆盖 `history` 模型

google-chrome-extension - puppeteer 网 : "Puppeteer is not a constructor"