python - 为什么 Scrapy Udemy 给出响应 403 错误？

Question

我试图使用 scrapy shell 来查看页面的response.css 结果。我使用的简单代码片段是response.css("title::text").extract()。通常，这应该为您提供网页的标题。但我知道这对 Udemy 来说是不可能的。另一方面，我将它用于亚马逊，并且运行良好。有意见吗？

scrapy shell "https://www.udemy.com/courses/search/?q=python&src=sac&kw=python"
response.css("title::text").extract()
['Access to this page has been denied.']

另一方面，下面的这个工作正常。

scrapy shell "https://www.amazon.com/s?k=garlic+press&crid=2DY5U90PELGKN&sprefix=garlic+pres%2Caps%2C286&ref=nb_sb_ss_i_1_11"

response.css("title::text").extract()
['Amazon.com: garlic press']

编辑:

scrapy shell --set=USER_AGENT='Mozilla/5.0' "https://www.udemy.com/courses/search/?q=python&src=sac&kw=python"
response.css("h4::text").extract()
[]

Answer 1

Udemy 试图阻止您使用自动抓取。它返回一个 HTTP 403 响应，并且在该响应的正文中有一些文本说明:

Access to this page has been denied because we believe you are using automation tools to browse the website.

当 HTTP header User-Agent 的值不是他们想要访问其内容的值时，他们就会阻塞。幸运的是， header 可以被欺骗。

scrapy shell --set=USER_AGENT='Mozilla/5.0' "https://www.udemy.com/courses/search/?q=python&src=sac&kw=python"

应该可以工作(不过，我这台机器上没有 python/scrapy，所以我没有测试)

编辑:我不确定规避机器人保护的合法性...在使用此建议之前，请务必检查本地法律。