我试图弄清楚是否有一种方法以及如何使用 python 从网页中的 Tableau 嵌入图形中抓取工具提示值。
以下是当用户将鼠标悬停在条形上时带有工具提示的图表示例:
我从要从中抓取的原始网页中获取了此网址:
https://covid19.colorado.gov/hospital-data
感谢任何帮助。
最佳答案
编辑
我做了a python library to scrape tableau dashboard 。实现更简单:
from tableauscraper import TableauScraper as TS
url = "https://public.tableau.com/views/Colorado_COVID19_Data/CO_Home"
ts = TS()
ts.loads(url)
dashboard = ts.getDashboard()
for t in dashboard.worksheets:
#show worksheet name
print(f"WORKSHEET NAME : {t.name}")
#show dataframe for this worksheet
print(t.data)
旧答案
该图形似乎是在 JS 中根据 API 的结果生成的,如下所示:
POST https://public.tableau.com/TITLE/bootstrapSession/sessions/SESSION_ID
SESSION_ID 参数(除其他外)位于用于构建 iframe 的 URL 中的 tsConfigContainer
文本区域中。
从https://covid19.colorado.gov/hospital-data开始:
- 使用
tableauPlaceholder
类检查元素 - 获取带有属性
name
的param
元素 - 它为您提供网址:
https://public.tableau.com/views/{urlPath}
- 上一个链接为您提供了一个带有 id
tsConfigContainer
的文本区域,其中包含一堆 json 值 - 提取
session_id
和根路径(vizql_root
) - 使用
sheetId
作为表单数据在https://public.tableau.com/ROOT_PATH/bootstrapSession/sessions/SESSION_ID
上发布 POST - 从结果中提取json(结果不是json)
代码:
import requests
from bs4 import BeautifulSoup
import json
import re
r = requests.get("https://covid19.colorado.gov/hospital-data")
soup = BeautifulSoup(r.text, "html.parser")
# get the second tableau link
tableauContainer = soup.findAll("div", { "class": "tableauPlaceholder"})[1]
urlPath = tableauContainer.find("param", { "name": "name"})["value"]
r = requests.get(
f"https://public.tableau.com/views/{urlPath}",
params= {
":showVizHome":"no",
}
)
soup = BeautifulSoup(r.text, "html.parser")
tableauData = json.loads(soup.find("textarea",{"id": "tsConfigContainer"}).text)
dataUrl = f'https://public.tableau.com{tableauData["vizql_root"]}/bootstrapSession/sessions/{tableauData["sessionid"]}'
r = requests.post(dataUrl, data= {
"sheet_id": tableauData["sheetId"],
})
dataReg = re.search('\d+;({.*})\d+;({.*})', r.text, re.MULTILINE)
info = json.loads(dataReg.group(1))
data = json.loads(dataReg.group(2))
print(data["secondaryInfo"]["presModelMap"]["dataDictionary"]["presModelHolder"]["genDataDictionaryPresModel"]["dataSegments"]["0"]["dataColumns"])
从那里您可以获得所有数据。您将需要寻找数据的分割方式,因为似乎所有数据都是通过单个列表转储的。也许查看 JSON 对象中的其他字段对此很有用。
关于python - 如何从网页中嵌入的 Tableau 图表中抓取工具提示值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61962611/