所以我尝试使用 Python 登录 Quora,然后抓取一些东西。
我正在使用 Selenium 登录网站。这是我的代码:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
username = driver.find_element_by_name('email')
password = driver.find_element_by_name('password')
username.send_keys('email')
password.send_keys('password')
password.send_keys(Keys.RETURN)
driver.close()
现在问题:
找到并填写登录表单大约需要 4 分钟,速度慢得令人痛苦。我可以做些什么来加快这个过程吗?
当它登录时,我如何确保没有错误?换句话说,我如何检查响应代码?
如何使用 selenium 保存 cookie,以便在登录后继续抓取数据?
如果没有办法使 selenium 更快,是否还有其他登录方法? (Quora 没有 API)
最佳答案
我遇到了类似的问题,即使用 ChromeDriver 在 Python selenium 中调用 find_elements_xxx 非常慢。我最终将问题追查到我在 find_element_xxx() 调用之前进行的 driver.implicitly_wait() 调用;当我取出它时,我的 find_element_xxx() 调用运行得很快。
现在,当我执行 find_elements_xxx() 调用时,我知道那些元素在那里。所以我无法想象为什么 implicit_wait 会影响这些操作的速度,但它确实影响了。
关于python - Selenium 很慢,还是我的代码有误?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17462884/