python - 有没有办法抓取使用 python 加载的数据

Question

我正在从网站上抓取数据。我发现表格数据在页面的源代码中显示为正在加载。我想知道如何使用 python 收集这些数据。它似乎是一个 React js Web 应用程序。

URL: https://www.ycombinator.com/companies/

Answer 1

如果您转到“网络”选项卡，您会发现以下 API，它以 json 格式返回数据。 您不需要 selenium 或 beautifulsoup。

https://api.ycombinator.com/companies/export.json?

下面是代码。

import requests
res=requests.get("https://api.ycombinator.com/companies/export.json?").json()
for item in res:
    try:
      print('name:' + item['name'])
    except:
        continue
    try:
      print('URL:' + item['url'])
    except:
        continue

    try:
        print('batch:' + item['batch'])

    except:
        continue

    try:
        print('Description:' + item['description'])
    except:
        continue

API 快照

回应: