python - 我们可以使用 urllib 或 urllib2 或 requests 或 mechanize 在 python 中重新加载页面/url 吗？

Question

我正在尝试打开一个页面/链接并捕获其中的内容。 它有时会给我所需的内容，有时会引发错误。 我发现如果我刷新页面几次 - 我就会得到内容。

所以，我想重新加载页面并捕获它。

这是我的伪代码:

attempts = 0
while attempts:
    try:
        open_page = urllib2.Request(www.xyz.com)
        # Or I think we can also do urllib2.urlopen(www.xyz.com)
        break
    except: 
        # here I want to refresh/reload the page
        attempts += 1

我的问题是:
1. 如何使用 urllib 或 urllib2 或 requests 或 mechanize 重新加载页面？
2.我们可以这样循环try catch吗？

谢谢!

Answer 1

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

attempts = 10

retries = Retry(total=attempts,
            backoff_factor=0.1,
            status_forcelist=[ 500, 502, 503, 504 ])

sess = requests.Session()
sess.mount('http://', HTTPAdapter(max_retries=retries ))
sess.mount('https://', HTTPAdapter(max_retries=retries))
sess.get('http://www.google.co.nz/')