python - 如何设置 header (用户代理)、检索网页、捕获重定向和接受 cookie？

Question

import urllib.request
url="http://espn.com"
f = urllib.request.urlopen(url)
contents = f.read().decode('latin-1')
q = f.geturl()
print(q)

此代码将返回 http://espn.go.com/，这是我想要的 - 重定向网站 URL。在查看了 Python 文档、谷歌搜索等之后，我也不知道如何:

1. 捕获重定向的网站 URL(已运行)
2. 更改传出请求的用户代理
3. 接受网页可能要发回的任何 cookie

如何在 Python 3 中执行此操作？如果有比 urllib 更好的模块，我可以接受。

Answer 1

有一个更好的模块，叫做requests :

import requests

session = requests.Session()
session.headers['User-Agent'] = 'My-requests-agent/0.1'

resp = session.get(url)
contents = resp.text  # If the server said it's latin 1, this'll be unicode (ready decoded)
print(resp.url)       # final URL, after redirects.

requests 遵循重定向(检查 resp.history 以查看其遵循的重定向)。通过使用 session (可选)，存储 cookie 并将其传递给后续请求。您可以为每个请求 或每个 session 设置 header (因此为该 session 发送的每个请求都会发送相同的额外 header )。