python - 当url变化为50的倍数时如何抓取页面?

标签 python for-loop web-scraping

我正在尝试抓取一些数据。有多个页面,并且 url 更改为 50 的倍数,如下所示:

http://myurl=0

http://myurl=50

http://myurl=100

这一直持续到 950。

我对网络抓取和数据科学很陌生,并且一直在自学,所以不理解所有概念和可能性。我正在使用 python 3.7

到目前为止我尝试了两种不同的方法

我尝试做这样的事情:

pages=[str(i) for i in range (0,20)]
for page in pages:
    my_url = 'http://myurl=' + (page*50)

但这没有用。

我还尝试创建一个数字列表,然后像这样循环访问该列表:

pages = list(range(0, 950, 50))
for page in pages:
    my_url = 'http://myurl=' + page

但这没有用。

非常感谢任何帮助。谢谢!

最佳答案

您可以通过多种方式执行相同的操作。其中另一个可能是:

my_url = 'http://myurl={}'
for link in [my_url.format(page) for page in range(0,950,50)]:
    print(link)

关于python - 当url变化为50的倍数时如何抓取页面?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54096725/

相关文章:

mysql - 定期进行网络抓取,以抓取自上次运行以来网站上的新信息

python - 无法使用请求从下一页中抓取姓名

java - 使用 Jsoup 从表格和网站的所有选项卡获取链接

python - 无法使用 ffmpeg 保存 Matplotlib 动画

python - 类型错误 : not enough arguments for format string in python

java - 如何为数组每行打印 10 个元素?

c - 使用 for 循环和 switch 语句编写字符计数器

python - 在 Y 和 Z 之间生成 X 个随机整数?

python - 列表/序列的正则表达式模拟

c++ - 私有(private)映射值的基于范围的 for 循环