我正在网站上进行网页抓取,有时运行脚本时会出现此错误:
ReadTimeout: HTTPSConnectionPool(host='...', port=443): Read timed out. (read timeout=10)
我的代码:
url = 'mysite.com'
all_links_page = []
page_one = requests.get(url, headers=getHeaders(), timeout=10)
sleep(2)
if page_one.status_code == requests.codes.ok:
soup_one = BeautifulSoup(page_one.content.decode('utf-8'), 'lxml')
page_links_one = soup_one.select("ul.product_list")
for links_one in page_links_one:
for li in links_one.select("li"):
all_links_page.append(li.a.get("href").strip())
我找到的答案并不令人满意
最佳答案
我通过增加超时得到了帮助,立即设置为 120 秒。事实证明,服务器在 40 秒内就收到了响应。
关于python - ReadTimeout : HTTPSConnectionPool(host ='' , 端口=443) : Read timed out. (读取超时=10),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57994570/