python - 下载网站中的所有文件

标签 python r download webclient

我需要下载此链接下的所有文件,其中只有郊区名称在每个链接中不断变化

仅供引用 https://www.data.vic.gov.au/data/dataset/2014-town-and-community-profile-for-thornbury-suburb

该搜索链接下的所有文件: https://www.data.vic.gov.au/data/dataset?q=2014+town+and+community+profile

有什么可能吗?

谢谢:)

最佳答案

你可以这样下载文件

import urllib2
response = urllib2.urlopen('http://www.example.com/file_to_download')
html = response.read()

获取页面中的所有链接

from bs4 import BeautifulSoup

import requests
r  = requests.get("http://site-to.crawl")
data = r.text
soup = BeautifulSoup(data)

for link in soup.find_all('a'):
    print(link.get('href'))

关于python - 下载网站中的所有文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45540860/

相关文章:

python - 根据键的组合比较字典

python - 搜索算法但针对函数

r - 使用ddply中的summary根据一列的max()获取整行

r - 在 R 中动态对齐图(空间图的自定义 ggplot2 图例)

r - 计算两个日期之间的时间差并将其添加到新列

c# - 下载直接文件

java - 如何在Java中使用okhttpclient下载图片文件

python - 如何递归地jsonize python对象

Python:在 while 循环中使用生成器

windows - 更新数 GB 程序的最佳方式(DVD 实现?更新软件?)