python - 当我还需要登录时,如何使用 pywebcopy 在 Python 中下载整个网页?

标签 python web-scraping

我使用pywebcopy下载整个网页,它的效果非常好。但是我需要在我是成员(member)的网站上执行此操作。如何在 pywebcopy 中输入登录凭据?

我使用的代码如pywebcopy示例所示:

from pywebcopy import save_webpage

url = 'http://some-site.com/some-page.html'
download_folder = '/path/to/downloads/'    

kwargs = {'bypass_robots': True, 'project_name': 'recognisable-name'}

save_webpage(url, download_folder, **kwargs)

最佳答案

尝试在登录所需网站时查找 API 请求 url。它必须将 cookie 返还给您。您需要保存它们,并在下载页面时发送它们

关于python - 当我还需要登录时,如何使用 pywebcopy 在 Python 中下载整个网页?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55957922/

相关文章:

python - 使用 scrapy 抓取特定网站时出现 "Too many requests"错误

python - 在嵌入式环境中正确设置 Python home 和 sys.prefix

python - Pandas Groupby 字典列表到一个字典

python - 无法通过 wget e 或脚本访问 url

python - 斯坦福 CoreNLP OpenIE 注释器

python - 如何在同一行实时刷新控制台,Python

python - 将 BeautifulSoup ResultSet 转换为字符串列表

python - 如何使用 ItemLoaders 将数据添加到类似字典的项目字段中?

javascript - jQuery/Tumblr - 解析 JSON 数据

python - python 根据另一个列值将多列转换为单列