我正在构建一个 Python 网络抓取工具(个人使用),但在检索 JSON 文件时遇到了一些麻烦。我能够找到所需的请求 URL,但当我运行脚本(我使用请求)时,URL 返回 HTML,而不是 Chrome 开发人员工具控制台中显示的 JSON。这是我当前的脚本:
import requests
import json
url = 'https://nytimes.wd5.myworkdayjobs.com/Video?clientRequestID=1f1a6071627946499b4b09fd0f668ef0'
r = requests.get(url)
print(r.text)
对 Python 来说是全新的,因此任何朝着正确方向的插入都将受到高度赞赏。谢谢!
最佳答案
看起来该网站根据请求提供的接受 header 返回响应。所以尝试一下:
import requests
import json
url = 'https://nytimes.wd5.myworkdayjobs.com/Video?clientRequestID=1f1a6071627946499b4b09fd0f668ef0'
r = requests.get(url, headers={'accept': 'application/json'})
print(r.json())
您可以查看完整的 api 以供进一步引用:http://docs.python-requests.org/en/latest/api/ .
关于Python - 请求拉取 HTML 而不是 JSON,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48631253/