javascript - 从在线 Power BI 仪表板中抓取数据

Question

我的本地政府已经将开放公共(public)数据的想法扔进了垃圾箱，而是选择通过在线 Power BI 仪表板(没有下载选项)发布其 COVID-19 更新。仪表板缺少静态 url , 但你可以 access it here .

在线发布时，Power BI 仪表板具有复杂的 HTML 结构，似乎无法像正常的 HTML 那样响应抓取工具。博士。

使用 Puppeteer (一个 Node.js 模块)，我可以从仪表板的第一页抓取一些元素。我真正需要的是访问第二页。为此，我需要“单击”屏幕底部的右箭头。这可以通过document.querySelector(".pbi-glyph-chevronrightmedium") 成功选择.

但是，我无法与该元素交互以到达第二页。虽然 Puppeteer 可以找到它，但它无法点击它。这里的第一行有效；第二个没有:

await page.waitForSelector(".pbi-glyph-chevronrightmedium");
await page.click(".pbi-glyph-chevronrightmedium");

有任何想法吗？发布了另一个关于 scraping from a Power BI dashboard 的问题但它涵盖了不同的方面。我无法执行单击“下一页”箭头的简单任务。

const puppeteer = require("puppeteer");
async function scrape() {
  var browser = await puppeteer.launch(),
      page = await browser.newPage();
  return new Promise(async function(resolve, reject) {
    try {
      await page.goto("https://www.covid19.act.gov.au/updates/confirmed-case-information");
      await page.waitForSelector(".col-md-12 a");
      let dashboardUrl = await page.evaluate(function() {
        return document.querySelector(".col-md-12 a").href;
      });
      await page.goto(dashboardUrl);
      await page.waitForSelector(".pbi-glyph-chevronrightmedium");
      console.log("Found the arrow!");
      await page.click(".pbi-glyph-chevronrightmedium");
      console.log("Clicked the arrow!");
      browser.close();
      return resolve("end scrape");
    } catch (error) {
      return reject(error);
    }
  });
}
scrape()
  .then(console.log)
  .catch(console.error);

Answer 1

代替

await page.click(".pbi-glyph-chevronrightmedium");

采用

await page.$eval(".pbi-glyph-chevronrightmedium", el => el.click());

(source)