javascript - 在 puppeteer/JavaScript 中重试 page.goto、page.waitForNavigation 等的最佳实践

Question

我正在尝试使用 Puppeteer 和 tor 包(apt install tor)抓取 TOR 网络中的一些网页。 可能由于 TOR 连接的性质，有时我会超时。 此外，我对 JavaScript 异步编程还不熟悉。

通常我有一个像这样的 try-catch 结构:

await Promise.all([
  page.goto(url),
  page.waitForNavigation({
    waitUntil: 'domcontentloaded'
  }),
]).catch((err) => { logMyErrors(err, true); });

或

let langMenu = await page.waitForXPath('//*[contains(@class, ".customer_name")]/ancestor::li').catch((err) => { logMyErrors(err, true); });

但我认为一次或多次重试通常有助于最终获得所需的资源。是否有实现重试的最佳实践？

Answer 1

我会推荐这种相当简单的方法:

async function retry(promiseFactory, retryCount) {
  try {
    return await promiseFactory();
  } catch (error) {
    if (retryCount <= 0) {
      throw error;
    }
    return await retry(promiseFactory, retryCount - 1);
  }
}

该函数调用promiseFactory，并等待返回的Promise完成。如果发生错误，该过程将(递归)重复，直到 retryCount 达到 0。

代码示例

您可以像这样使用该函数:

await retry(
  () => page.waitForXPath('//*[contains(@class, ".customer_name")]/ancestor::li'),
  5 // retry this 5 times
);

您还可以传递返回 Promise 的任何其他函数，例如 Promise.all:

await retry(
  () => Promise.all([
    page.goto(url),
    page.waitForNavigation({ waitUntil: 'domcontentloaded' }),
  ]),
  1 // retry only once
);

不要结合使用await和catch

另一个建议:您不应将 await 与 .then 或 .catch 结合使用，因为这会导致意外问题。使用 await 并用 try..catch block 包围代码，或者使用 .then 和 .catch。否则，您的代码可能正在等待 catch 函数的结果完成等。

相反，您可以像这样使用try..catch:

try {
  // ...
} catch (error) {
  logMyErrors(error);
}