Python 和 Mechanize : How to scrape through pages in a row?

Question

我的问题如下: 我正在尝试编写一个贯穿航空公司票务网站订购流程的抓取工具。所以我想根据之前页面的结果抓取几个页面(我希望你明白我的意思)。我现在到目前为止:

    import mechanize, urllib, urllib2

    url = 'any url'
    br = mechanize.Browser()
    br.set_handle_robots(False)
    br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 5.2; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11')]
    br.open(url)
    response = br.response().read()

    br.select_form(nr=1)
    br.form.set_all_readonly(False)

    ## now I am reading out the variables of form(nr=1)

    for control in br.form.controls:
           if not control.name:
               print " - (type) =", (control.type)
               continue  
           print " - (name, type, value) =", (control.name, control.type, br[control.name])

    ## now I am modifying the variables
    br['fromdate'] = '2012/11/03'
    br['todate'] = '2012/11/07'

    ## now I am submitting the form and saving the output in the variable bookingsite
    response = br.submit()
    bookingsite = response.read()

这是我的问题:如何使用变量 bookingsite，它又包含一个我想修改和提交的表单，就像普通 URL 一样？只需通过设置

    br.open(bookingsite)

？？？或者是否有另一种修改和提交输出的方法(然后再次提交输出并接收新的输出页面)？

Answer 1

在您的初始响应 response = br.submit() 从响应对象中选择表单:

response.select_form()

更改表单中字段的值后，提交表单:

response.submit()

附言如果您要自动化预订网站，他们很可能有大量的 Javascript。 Mechanize 不处理 Javascript。我建议改用 Requests。你会很高兴你做到了。