python - 脚本在执行过程中的某个时刻抛出一些错误

Question

我使用 pyppeteer 在 python 中创建了一个脚本 从网页收集不同帖子的链接，然后通过重复使用这些收集的链接进入目标页面来解析每个帖子的标题。虽然内容是静态的，但我想知道 pyppeteer 在这种情况下是如何工作的。

我试图将这个browser变量从main()函数提供给fetch()和browse_all_links() 功能，以便我可以一遍又一遍地重复使用同一个浏览器。

我目前的方法:

import asyncio
from pyppeteer import launch

url = "https://stackoverflow.com/questions/tagged/web-scraping"

async def fetch(page,url):
    await page.goto(url)
    linkstorage = []
    await page.waitForSelector('.summary .question-hyperlink')
    elements = await page.querySelectorAll('.summary .question-hyperlink')
    for element in elements:
        linkstorage.append(await page.evaluate('(element) => element.href', element))
    return linkstorage

async def browse_all_links(page,link):
    await page.goto(link)
    await page.waitForSelector('h1 > a')
    title = await page.querySelectorEval('h1 > a','(e => e.innerText)')
    print(title)

async def main():
    browser = await launch(headless=False,autoClose=False)
    [page] = await browser.pages()
    links = await fetch(page,url)
    tasks = [await browse_all_links(page,url) for url in links]
    await asyncio.gather(*tasks)

if __name__ == '__main__':
    asyncio.run(main())

上面的脚本获取一些标题，但在执行过程中的某个时刻抛出以下错误:

Possible to select <a> with specific text within the quotes?
Crawler Runs Too Slow
How do I loop a list of ticker to scrape balance sheet info?
How to retrive the url of searched video from youtbe using python
VBA-JSON to import data from all pages in one table
Is there an algorithm that detects semantic visual blocks in a webpage?
find_all only scrape the last value

#ERROR STARTS

Future exception was never retrieved
future: <Future finished exception=NetworkError('Protocol error (Runtime.releaseObject): Cannot find context with specified id')>
pyppeteer.errors.NetworkError: Protocol error (Runtime.releaseObject): Cannot find context with specified id
Future exception was never retrieved

Answer 1

由于这个问题已经发布两天了，但还没有人回答，我将借此机会解决这个问题 认为可能对你有帮助。

• 有 15 个链接，但您只得到 7 个，这可能是 Websockets 失去连接并且页面无法再访问

• 列表理解

tasks = [await browser_all_links(page,url) for links url] 这个列表期望什么？如果成功的话，将会是一个列表 没有任何元素。所以你的下一行代码将抛出错误!

• 解决方案

  将 websockets 7.0 降级到 websockets 6.0

  删除这行代码await asyncio.gather(*tasks)

  我使用的是 python 3.6，所以我必须更改最后一行代码。 如果您使用的是 python 3.7，则不需要更改它，我认为您正在使用

import asyncio
from pyppeteer import launch

url = "https://stackoverflow.com/questions/tagged/web-scraping"

async def fetch(page,url):
    await page.goto(url)
    linkstorage = []
    await page.waitForSelector('.summary .question-hyperlink')
    elements = await page.querySelectorAll('.summary .question-hyperlink')
    for element in elements:
        linkstorage.append(await page.evaluate('(element) => element.href', element))
    return linkstorage

async def browse_all_links(page,link):
    await page.goto(link)
    await page.waitForSelector('h1 > a')
    title = await page.querySelectorEval('h1 > a','(e => e.innerText)')
    print(title)
async def main():
    browser = await launch(headless=False,autoClose=False)
    [page] = await browser.pages()
    links = await fetch(page,url)
    tasks = [await browse_all_links(page,url) for url in links]
    #await asyncio.gather(*tasks)
    await browser.close()
if __name__ == '__main__':
    #asyncio.run(main())
    asyncio.get_event_loop().run_until_complete(main())

• 输出

(testenv) C:\Py\pypuppeteer1>python stack3.py Scrapy Shell response.css 返回一个空数组 Scrapy实时蜘蛛 为什么使用 get 请求读取数据时会出现 KeyError 错误？ Scrapy Spider无法根据args重新定义custom_settings 在 Splash UI 中使用 Lua 自定义 JS 脚本 有人可以解释一下这段代码为什么以及如何工作吗[暂停] 如何从字符串列表中提取所需的数据？ Scrapy CrawlSpider爬取单页面的规则 当搜索查询不存在时，如何抓取带有搜索栏结果的网页 出现在网址中 嵌套的 for 循环不断重复 获取除标签列表之外的所有标签 BeautifulSoup 使用 Python 和 webbot 获取当前 URL 如何登录站点并发送数据 无法将值附加到列。出现错误 IndexError: list index out of ra 恩格 NextSibling.Innertext 不起作用。 “对象不支持此属性”