automation - 自动化 Google 外卖下载

Question

有没有办法以编程方式启动/安排谷歌外卖下载(所有 46+ 服务)数据

https://takeout.google.com/

我想定期备份这些数据(本地或 Google 云端硬盘)

可以 Puppeteer在没有来自 Google 的 API 的情况下用于自动执行用户点击？

Answer 1

是的，这绝对是可能的。我建议使用 headless 浏览器，例如 Selenium 或 Puppeteer。有几个步骤可以完成此操作:

1)自动登录谷歌(如果需要)
2) 自动导航到 Google Takeout 并下载数据
3 解析数据
4) 编写一个脚本，以便您可以定期自动化整个过程。

在编写网络爬虫时还有一些事情需要注意:

在 headless 模式下运行浏览器时，提供的 HTML 可能与非 headless 运行的浏览器不同。换句话说，DOM 元素上的属性可以以不同的方式命名，并且由于您使用这些属性来自动执行诸如选择和单击之类的操作 - 您的代码将需要更改。出于这个原因，通过浏览器检查元素是一个很好的起点，但是在 headless 模式下运行时，您可能需要调整属性的名称，这有助于开始使用。例如，以下代码摘录显示了为 Puppeteer 编写的两种方式登录 Google 的相同代码。一种写为 headless ，一种写为非 headless :

headless 模式:

(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto('https://takeout.google.com');


    await page.waitForSelector('input[type=email]')
    await page.type('input[type=email]', process.env.GOOGLE_USER)
    await page.click('#next')

    await page.waitForSelector('#Passwd', { visible: true })
    await page.type('#Passwd', process.env.GOOGLE_PWD);
    await page.waitForSelector('#signIn', { visible: true })
    await page.click('#signIn');

    await page.waitForNavigation()
    await browser.close();

})();

非 headless 模式:

(async () => {
    const browser = await puppeteer.launch({ headless: false, slowMo: 50 })
    const page = await browser.newPage()
    await page.goto('https://takeout.google.com');


    await page.waitForSelector('input[type="email"]')
    await page.type('input[type="email"]', process.env.GOOGLE_USER)
    await page.click('#identifierNext')

    await page.waitForSelector('input[type="password"]', { visible: true })
    await page.type('input[type="password"]', process.env.GOOGLE_PWD)
    await page.waitForSelector('#passwordNext', { visible: true })
    await page.click('#passwordNext')


    await page.waitForNavigation()
    await browser.close()
})()