python - 无法使用请求从网页获取所有表格内容

Question

我用 python 创建了一个脚本来解析网站中的表格内容。我的脚本现在可以解析其登陆页面的内容。但是，该页面底部有一个 NEXT PAGE 按钮，单击后会展开 50 多个结果，依此类推。

Website address

我尝试过(抓取前 50 个结果):

import requests
from bs4 import BeautifulSoup

site_link = 'https://indiarailinfo.com/trains/passenger/0/0/0/0'

res = requests.get(site_link)
soup = BeautifulSoup(res.text,"lxml")
for items in soup.select("div[style='line-height:20px;']"):
    tds = [elem.get_text(strip=True) for elem in items.select("div")]
    print(tds)

如何使用请求耗尽下一页按钮从该页面获取所有表格内容？

PS我知道如何使用selenium展开内容，所以与任何浏览器模拟器相关的解决方案不是我想要的。

Answer 1

点击下一步按钮实际上是对https://indiarailinfo.com/trains/passenger/0/1?i=1&&kkk=1571329558457进行XHR操作

<button class="nextbtn" onclick="javascript:getNextTrainListPageBare($(this).parent(),'/trains/passenger/0/1?i=1&amp;');"><div>NEXT PAGE<br>the next 50 Trains will appear below</div></button>

因此，您所要做的就是获取“onclick”下的数据，编写一个 url 并使用请求执行 HTTP GET。

返回的数据将如下所示

https://pastebin.com/Nk0E5vHH

现在只需使用 BeautifulSoup 并提取您需要的数据。

下面的代码(将 10 替换为您需要的数字)

import requests
from bs4 import BeautifulSoup

site_link = 'https://indiarailinfo.com/trains/passenger/0/{}'

for x in range(10):
    url = site_link.format(x)
    res = requests.get(url)
    soup = BeautifulSoup(res.text,"lxml")
    print('Data for url: {}'.format(url))
    for items in soup.select("div[style='line-height:20px;']"):
        tds = [elem.get_text(strip=True) for elem in items.select("div")]
        print(tds)