python - BeautifulSoup 刮img

Question

我正在尝试抓取 website用于验证码图像链接。

使用浏览器检查元素它已经出现，但在抓取时它没有显示。

我的目标是获取img

下面是我尝试过的代码。

import requests
from bs4 import BeautifulSoup

with requests.Session() as s:
    url = "https://myurl.com/"
    r = s.get(url)
    soup = BeautifulSoup(r.content, "html.parser")
    for item in soup.findAll("img"):
        print(item)

Answer 1

如果您转到“网络”选项卡，您将看到以下链接，该链接返回 JSON 格式的验证码图像。为此，您不需要 Selenium。

https://example.com/site/captcha/refresh/1/?_=1574163338269

您需要将响应转换为 JSON，然后获取 url key val。

import requests

with requests.Session() as s:
    url = "https://example.com/site/captcha/refresh/1/?_=1574163338269"
    r = s.get(url, verify=False)
    img = r.json()
    print(img['url'])

网络选项卡