python - 获取网站上的最后更改

标签 python algorithm http web-scraping beautifulsoup

我需要用 Python 创建软件,用于在发生更改时监控网站。目前我有定期任务并检查网站内容与以前的版本。有没有更简单的方法来检查网站内容是否已更改,也许是上次更改的时间,以避免每次都下载内容?

最佳答案

在实际下载完整内容之前,您可以使用 HEAD HTTP 方法并查看 Date-ModifiedETag header 等再次。

然而,当实体(URL)的内容发生变化时,没有任何东西可以保证服务器实际更新这些 header ,或者甚至可以正确响应 HEAD 方法。

关于python - 获取网站上的最后更改,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9738522/

相关文章:

algorithm - 2011年Informatica地方奥赛题1题

python - 在 python 中绘制图表 - LineCollection

python - 为什么字典键没有改变

python - 如何在基于DEAP的Python遗传算法中加入淘汰机制

php - 从数据库中选择最少的数字

algorithm - 汉诺塔使用头部递归?

ios - 带有 HTTP 身份验证的 NSURLRequest

来自 HTTPS 网站的 HTTP 链接

java - 如何从网页(Android)获取信息?

python - 如何将 Pandas 数据框中的重复项限制为 5 个?