我正在尝试使用 Node 构建一个网络爬虫,并发现了 puppeteer 包,它看起来非常适合我想要的东西。我的最终结果是收集页面中的所有链接、所有文本内容,然后是页面本身的屏幕截图。
我运行了以下命令,它似乎收集了大量链接,但是在实际检查该网站时,有一些链接没有收集。
const puppeteer = require('puppeteer');
module.exports = () => {
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://pixabay.com/en/columbine-columbines-aquilegia-3379045/');
await page.screenshot({ path: 'myscreenshot.png', fullPage: true });
let text = await page.$eval('*', el => el.innerText.split(' '));
text = text.map(string => {
return string.replace(/[^\w\s]/gi, '');
});
let hrefs = await page.evaluate(() => {
const links = Array.from(document.querySelectorAll('a'))
return links.map(link => link.href);
});
console.log('done');
await browser.close();
})();
};
例如此链接:/go/?t=image-details-shutterstock&id=699165328
不在 href 数组中。更糟糕的是,这些是引出该网站的链接,这正是我想做的事情,否则我只能抓取一个网站。
我的脚本只显示部分链接是否有原因? querySelector 是否太窄或拒绝某些链接?
最佳答案
链接是由onclick
事件生成的,例如保存在data-go
属性中
<a data-go="image-details-shutterstock&id=458320033">
只需要在前面添加 /go/?t=
即可获取
return links.map(link => link.href || link.getAttribute('data-go'));
还有菜单的空链接,例如
<a><i class="icon icon_menu_user"></i></a>
关于javascript - 如何使用 Node puppeteer 获取页面中的所有链接?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53798375/