python - Python美丽的汤网爬虫不返回标签内容

原文 标签 python web-scraping

我正在尝试从本地bookie站点抓取比赛及其各自的赔率,但是我尝试使用我的网络抓取工具的每个站点都不会返回任何内容,而只会打印“ Process exit with exit code 0”,但不返回任何内容。
有人可以帮我打开容器,取出里面的东西吗?

我已经尝试了上述所有网站近一个月,但没有成功。问题似乎出在确切的div,class或跨度元素布局上。


https://www.betlion.co.ug/
https://www.betpawa.ug/
https://www.premierbet.ug/


例如我尝试显示代码中的链接2

import requests
from bs4 import BeautifulSoup

url = "https://www.betpawa.ug/"

response = requests.get (url, timeout=5)
content = BeautifulSoup (response.content, "html.parser")

for match in content.findAll("div",attrs={"class":"events-container prematch", "id":"Bp-Event-591531"}):
    print (match.text.strip())



我希望程序返回匹配,赔率和容器的所有其他组件的列表。但是,该程序将运行,并且仅显示““以退出代码0完成的过程”

最佳答案

看来分两个阶段加载了基础站点


为页面加载一些HTML结构,
使用JavaScript填写内容


您可以通过右键单击页面,执行“查看页面源代码”,然后搜索“事件容器”(不存在)来向自己证明这一点。

因此,您将需要比request + bs4更强大的功能。我听说有人使用Selenium来做到这一点,但我对此并不熟悉。

关于python - Python美丽的汤网爬虫不返回标签内容,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58170013/

相关文章:

python - 如何将这些数字列入 list ?

python - 属性错误 : 'Corn' object has no attribute '_Plant__symbol'

python - 有没有办法从 SeLoger 中抓取广告的网址?

python - 属性错误 : 'datetime.date' object has no attribute 'date'

python - 无法设置pygame.Color的hsva/hsla属性

python - Scrapy 调用另一个 URL

javascript - 从输入值中抓取数据

python - 精美的汤循环遍历URL数组

python - __del__ 的用例

python - 如何使用 Selenium 和 Python 从 https ://www. twitch.tv/directory/game/Overwatch/clips?range=7d 抓取前 10 个剪辑的 href 属性