我正在尝试使用 Requests 模块编写一个简单的网络爬虫程序,我想知道如何禁用它的 -default- keep-alive 功能。
我尝试使用:
s = requests.session()
s.config['keep_alive'] = False
但是,我收到一条错误消息,指出 session 对象没有属性“config”,我认为它已随新版本更改,但我似乎无法在官方文档中找到如何操作。
事实是我在特定网站上运行爬虫时,它最多只获取五个页面,然后无限循环,所以我认为它与保持事件功能有关!
PS:Requests 是网络爬虫的好模块吗?有没有更适合的东西?
谢谢!
最佳答案
关于Python 请求 (>= 1.*) : How to disable keep-alive?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21008953/