python - "http.client.CannotSendRequest: Request-sent"错误

Question

奇怪的问题。我有一个 Python 3 脚本，它全天候运行并使用 Selenium 和 Firefox 访问网页，每 5 分钟从下载链接下载一个文件(我不能只使用 urllib 或其他方式下载，因为即使下载文件的链接地址保持不变，文件中的数据不断变化并且每次重新加载页面时都不同，并且还取决于指定的标准)。该脚本几乎一直运行良好，但我无法摆脱这个偶尔会弹出并终止脚本的错误。这是错误:

Traceback (most recent call last):
  File "/Users/Shared/ROTH_1/Folio/get_F_notes.py", line 248, in <module>
    driver.get(search_url)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/selenium/webdriver/remote/webdriver.py", line 187, in get
    self.execute(Command.GET, {'url': url})
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/selenium/webdriver/remote/webdriver.py", line 173, in execute
    response = self.command_executor.execute(driver_command, params)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/selenium/webdriver/remote/remote_connection.py", line 349, in execute
    return self._request(command_info[0], url, body=data)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/selenium/webdriver/remote/remote_connection.py", line 379, in _request
    self._conn.request(method, parsed_url.path, body, headers)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/http/client.py", line 1090, in request
    self._send_request(method, url, body, headers)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/http/client.py", line 1118, in _send_request
    self.putrequest(method, url, **skips)
  File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/http/client.py", line 966, in putrequest
    raise CannotSendRequest(self.__state)
http.client.CannotSendRequest: Request-sent

这是我的脚本中出现问题的部分，具体来说，脚本命中“except ConnectionRefusedError:”部分，并按预期打印出“警告 1:ConnectionRefusedError:搜索页面未加载；现在尝试再次”。但是，我认为，当循环再次开始并再次尝试“driver.get(search_url)”时，我得到了上述错误。脚本在那一点上卡住了，并给了我上面的错误。

我对此进行了相当多的研究，脚本似乎有可能试图重用与第一次尝试相同的连接。解决方法似乎是创建一个新连接。但这就是我所能收集到的全部信息，而且我不知道如何与 Selenium 建立新的联系。你？或者，这里还有其他问题吗？

search_url = 'https://www.example.com/download_page'
loop_get_search_page = 1
while loop_get_search_page < 7:
    if loop_get_search_page == 6:
        print('WARNING: tried to load search page 5 times; exiting script to try again later')
        ##### log out
        try:
            driver.find_element_by_link_text('Sign Out')
        except NoSuchElementException:
            print('WARNING: NoSuchElementException: Unable to find the link text for the "Sign Out" button')
        driver.quit()
        raise SystemExit
    try:
        driver.get(search_url)
    except TimeoutException:
        print('WARNING ', loop_get_search_page, ': TimeoutException: search page did not load; now trying again', sep='')
        loop_get_search_page += 1
        continue
    except ConnectionRefusedError:
        print('WARNING ', loop_get_search_page, ': ConnectionRefusedError: search page did not load; now trying again')
        loop_get_search_page += 1
        continue
    else:
        break

Answer 1

我自己刚遇到这个问题。在我的例子中，我有另一个线程在一边运行，它也通过 WebDriver 发出请求。事实证明 WebDriver 不是线程安全的。

查看 Can Selenium use multi threading in one browser? 上的讨论以及那里的链接以获得更多上下文。

当我删除另一个线程时，一切都按预期开始工作。

是否有可能每 5 米在一个新线程中运行一次？

我所知道的“创建新连接”的唯一方法是启动 WebDriver 的新实例。如果您正在执行大量请求，那可能会变慢，但由于您每 5 米才执行一次操作，因此它不会真正影响您的吞吐量。只要您始终在 dl 完成后清理您的 WebDriver 实例，这对您来说可能是一个不错的选择。