api - 访问 Metacritic API 和/或 Scraping

标签 api scrape scraper

有谁知道 Metacritic api 的文档在哪里/它是否仍然有效。曾经在 https://market.mashape.com/byroredux/metacritic-v2#get-user-details 有一个 Metacritic API今天消失了。

否则,我试图自己抓取该网站,但一直被 429 慢下来阻止。这个小时我获得了 3 次数据,但在过去 20 分钟内无法获得更多数据,这使得测试变得困难并且应用程序可能无用。如果还有什么我可以做的事情来逃避我不知道的事情,请告诉我。

最佳答案

我在不久前编写的应用程序中也使用了该 API。看起来创作者从 Mashape 中删除了它。我刚刚给他发了一封电子邮件,询问是否会备份。我确实找到了 this scraper在线的。它只有几个端点,但按照给定的示例,您可以轻松添加更多端点。如果您有任何进展,请告诉我!

编辑:看起来 CBS 要求将其删除。 ToS 禁止抓取:

[...] 您同意不做以下事情,或协助他人做以下事情:
从事未经授权的爬行、“抓取”、数据挖掘或内容收集,或使用任何其他未经授权的自动化方式从服务收集数据或与服务相关的数据;

关于api - 访问 Metacritic API 和/或 Scraping,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34643822/

相关文章:

qt - 使用 Qt5 在 Dropbox 中进行身份验证的 Http 请求

ruby - 使用 Ruby、Nokogiri 和 Mechanize 解析网页中的 java cookie 链接

javascript - 如何抓取 FIFA 网站的 JavaScript 表格

java - 使用 Java 从 HTML 页面抓取数据,输出到数据库

javascript - PhantomJS 和 Google Chrome/Firefox 的 HTML 输出不同

python - 使用python创建一个Linkedin Webscraper

javascript - 使用 javascript 或最佳替代方案从存储在数组中的图像 url 下载图像

rest - 如果 GET 请求的响应发生变化,是否尊重幂等性?

api - 如何在 Laravel 4 中构建 REST API 并添加用户

android - 如何让 Jsoup 获取 URL 的桌面版本