Python 请求 (>= 1.*) : How to disable keep-alive?

标签 python web web-crawler python-requests

我正在尝试使用 Requests 模块编写一个简单的网络爬虫程序,我想知道如何禁用它的 -default- keep-alive 功能。

我尝试使用:

s = requests.session()
s.config['keep_alive'] = False

但是,我收到一条错误消息,指出 session 对象没有属性“config”,我认为它已随新版本更改,但我似乎无法在官方文档中找到如何操作。

事实是我在特定网站上运行爬虫时,它最多只获取五个页面,然后无限循环,所以我认为它与保持事件功能有关!

PS:Requests 是网络爬虫的好模块吗?有没有更适合的东西?

谢谢!

最佳答案

这行得通

s = requests.session()
s.keep_alive = False

Answered in the comments of a similar question.

关于Python 请求 (>= 1.*) : How to disable keep-alive?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21008953/

相关文章:

php - 通过 python 将 JSON 发送到外部 PHP 监听器

python - 使用 python lib 从 FTP 获取大文件

javascript - 我希望表格在搜索时显示隐藏行并在删除输入时隐藏它们?

php - 定期 HTML 抓取

web-crawler - 我应该对robots.txt中不区分大小写的目录使用不同的大小写拼写吗?

python - Pandas/Python - CSV 文件 - 选择一行和两列或更多列

python - python3.5中Kmeans的导入错误

c# - 从 Unity WebGL 调用 Angular2 函数

javascript - 交叉口观察者 API : Observe the center of the viewport

python RE findall() 返回值是一个完整的字符串