我浏览了这个网站:http://ctrlq.org/screenshots/发现这个页面的表单可以给出我们给它的任意一个URL的网页截图。
现在,我想尝试同样使用 mechanize,看看我是否可以通过 python 代码提交表单来实现它。
如果表单提交成功,我应该得到
Congratulations, the screenshot image of http://www.gnu.org is ready. Download Image
但是,我的提交没有成功,没有得到预期的结果。我哪里出错了?
代码如下:
import mechanize
import cookielib
from BeautifulSoup import BeautifulSoup
import re
# Browser
br = mechanize.Browser()
# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)
# Browser options
br.set_handle_equiv(True)
#br.set_handle_gzip(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
# Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
# User-Agent (this is cheating, ok?)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
# The site we will navigate into, handling it's session
br.open('http://ctrlq.org/screenshots/')
html = br.response().read()
soup = BeautifulSoup(html)
hidden_str = str(soup.find('input', { "name" : "labnol" }))
m = re.search('value="(.*?)"', hidden_str)
hidden_val = m.group(1)
print hidden_val
br.select_form(nr=0)
br['url'] = "http%3A%2F%2Fwww.gnu.org"
for form in br.forms():
print '---------------'
print form
br.submit()
html2 = br.response().read()
##print html2
print 'if congrat.. exists in result'
print 'congrat' in html2.lower()
结果如下:
>>> ================================ RESTART ================================
>>>
2f043008c3ecfa0a86ea8a9ed8a19916
---------------
<POST http://ctrlq.org/screenshots/ application/x-www-form-urlencoded
<TextControl(url=http%3A%2F%2Fwww.gnu.org)>
<SubmitButtonControl(<None>=) (readonly)>
<HiddenControl(labnol=2f043008c3ecfa0a86ea8a9ed8a19916) (readonly)>>
False
>>>
附带说明一下,使用 python 获取具有给定 url 的网页屏幕截图的最佳方法是什么。我不想使用 pyqt,因为我不知道它是如何工作的。具有内置模块或更简单模块的任何其他更简单的替代方案。
最佳答案
很久没问这个问题了。但是如果有人需要可以使用这个:
from selenium import webdriver
driver = webdriver.Firefox()
driver.get('http://www.python.org/')
driver.save_screenshot('screenshot.png')
driver.quit()
您必须从这里下载 selenium 包:https://pypi.python.org/pypi/selenium 或者运行命令
pip install selenium
注意:您还需要 geckodriver.exe。它应该与您的脚本位于同一位置。 壁虎下载链接:https://github.com/mozilla/geckodriver/releases .
这里有关于 selenium 的其他有用文档:http://selenium-python.readthedocs.io/faq.html Selenium 具有 mechanize 没有的许多其他功能:Selenium Webdriver vs Mechanize
关于python Mechanize 代码以获取网页截图 - 但表单提交不工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12938811/