python - 如何抓取来自下拉列表的数据？

Question

网站源码显示:

<div class="content">

    <h2 class="branded">Fixtures</h2>

<div class="mobile-select gameweek-selector-div clearfix">
    <select class="gameweek-selector" >
        <option value="-1">All Season</option>

             <option value="1">Matchweek 1</option>

             <option value="2">Matchweek 2</option>

             <option value="3">Matchweek 3</option>

    </select>
</div>

我想在选择这些选项值之一时抓取数据 问题是网站 url 没有改变它只是加载内容

Answer 1

尝试使用浏览器的网络分析器。

当我访问该网站并选择不同的比赛周时，每次都会发送一个 GET 请求。

例如，这是第 1 周的请求 URL:

http://m.premierleague.com/pa-services/api/football/mobile/competition/fandr/api/gameweek/1.json

...第 2 周:

http://m.premierleague.com/pa-services/api/football/mobile/competition/fandr/api/gameweek/2.json

请注意末尾的数字已全部更改。您可以轻松地遍历周范围，在每次迭代时发出 GET 请求。

这是解决方案的粗略草图:

import json
import urllib

number_of_weeks = 20
base_url = 'http://m.premierleague.com/pa-services/api/football/mobile/competition/fandr/api/gameweek/'

for i in range(1, number_of_weeks+1):
    page = urllib.urlopen(baseurl+str(i)).read()
    json_content = json.loads(page)
    ## now you can do something with the data