https://psycnet.apa.org/record/2016-47119-002
当我通过 chrome(在私有(private)窗口中)访问上述 URL 时，我可以看到对应于以下 curl 的第一个请求命令。但是当我调用 curl在命令行中输入命令，distil网络会检测到显示<div id="distilIdentificationBlock"> </div>
.
这对我来说看起来很奇怪，因为这是第一个请求。除非 curl 和 chrome 发送的请求之间存在差异，否则 distil 网络无法判断机器人或真实浏览器发送的请求是什么。有人知道 curl 请求和 chrome 请求有什么区别吗？
curl 'https://psycnet.apa.org/record/2016-47119-002' \
-H 'Connection: keep-alive' \
-H 'Pragma: no-cache' \
-H 'Cache-Control: no-cache' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
-H 'Sec-Fetch-Site: none' \
-H 'Sec-Fetch-Mode: navigate' \
-H 'Sec-Fetch-User: ?1' \
-H 'Sec-Fetch-Dest: document' \
-H 'Accept-Language: en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7' \
--compressed
附言如果我使用firefox提取相应的curl命令，问题是一样的。所以firefox请求和curl请求的区别也是相关的。
最佳答案
没有区别。
要了解 Distill(他们的网络抓取保护系统)是如何工作的，您需要查看初始响应 HTML:
当我在 Chrome 中发出请求并查看开发工具中的初始响应时(确保选中“保留日志”)，我看到响应实际上是一个包含嵌入式 <script> 的简短网页它执行一些简单的“这个用户代理是网络浏览器吗？”检查，例如运行脚本来查找 Web 浏览器之外不存在的 JavaScript DOM 对象(假设 HTTP 用户代理完全能够运行脚本 - cURL 和 wget 不是，通过道路)。
如果脚本认为您的用户代理是网络浏览器，那么它会使用动态生成的密码对真实内容执行另一个请求(我没有查看其工作原理的详细信息) - 这就是为什么您不能使用 cURL 重新请求真实内容或 wget因为每个请求的密码都是唯一的。
这是 <script> 的屏幕截图初始页面响应中的元素，并注意页面的 HTML 中缺少真实的实际内容。
如果您在浏览器中禁用 JavaScript，您将根本无法访问该网页。
这种反抓取系统保护网页免受来自缺乏评估 JavaScript 方法的用户代理的请求 - 所以它会阻止 curl , wget , HttpClient , 和浏览器内 fetch/XMLHttpRequests (至少不是没有进一步的工作)。
您会认为该系统会使网站无法被搜索引擎蜘蛛索引 - 但这是一种古老(且根深蒂固)的信念和做法:因为直到 2000 年代后期，主要的搜索引擎蜘蛛(Google、Bing/Windows Live Search 、Yahoo 等)只索引原始 HTML 并且不运行 JavaScript - 但从那时起，搜索引擎蜘蛛开始运行 JavaScript，甚至开始索引网站，而不是使用定制的蜘蛛 HTML 解析器引擎，而是使用实际的网络浏览器引擎(谷歌真正开始了它，以便他们可以索引脚本繁重的网站，尤其是使用 Angular、Vue 等的单页应用程序)。当我在 Microsoft 工作时，我必须使用 Bing 爬虫系统进行一些产品研究项目，并使用 Internet Explorer 的特殊构建来“运行”它访问的网页。
关于javascript - 浏览器请求和 curl 请求有什么区别？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62074890/