我知道这里有出售 Python API (http://oktaykilic.com/my-projects/google-alerts-api-python/),但我想了解为什么我这样做现在这样做是行不通的。
这是我到目前为止所拥有的:
class GAlerts():
def __init__(self, uName = 'USERNAME', passWord = 'PASSWORD'):
self.uName = uName
self.passWord = passWord
def addAlert(self):
self.cj = mechanize.CookieJar()
loginURL = 'https://www.google.com/accounts/ServiceLogin?hl=en&service=alerts&continue=http://www.google.com/alerts'
alertsURL = 'http://www.google.com/alerts'
#log into google
initialRequest = mechanize.Request(loginURL)
response = mechanize.urlopen(initialRequest)
#put in form info
forms = ClientForm.ParseResponse(response, backwards_compat=False)
forms[0]['Email'] = self.uName
forms[0]['Passwd'] = self.passWord
#click form and get cookies
request2 = forms[0].click()
response2 = mechanize.urlopen(request2)
self.cj.extract_cookies(response, initialRequest)
#now go to alerts page with cookies
request3 = mechanize.Request(alertsURL)
self.cj.add_cookie_header(request3)
response3 = mechanize.urlopen(request3)
#parse forms on this page
formsAdd = ClientForm.ParseResponse(response3, backwards_compat=False)
formsAdd[0]['q'] = 'Hines Ward'
#click it and submit
request4 = formsAdd[0].click()
self.cj.add_cookie_header(request4)
response4 = mechanize.urlopen(request4)
print response4.read()
myAlerter = GAlerts()
myAlerter.addAlert()
据我所知,它成功登录并进入添加警报主页,但是当我输入查询并“单击”提交时,它会将我带到一个页面,显示“请输入有效的电子邮件地址” ”。我缺少某种身份验证吗?我也不明白如何更改谷歌自定义下拉菜单上的值?有什么想法吗?
谢谢
最佳答案
自定义下拉菜单是使用 JavaScript 完成的,因此正确的解决方案是找出 URL 参数,然后尝试重现它们(这可能是它现在无法按预期工作的原因 - 您是省略通常在浏览器中访问站点时由 JavaScript 设置的必需 URL 参数)。
懒惰的解决方案是使用 galerts
库,看起来它完全满足您的需要。
对涉及mechanize
(或一般的屏幕抓取)的 future 项目的一些提示:
- 使用Fiddler ,一个非常有用的HTTP调试工具。它捕获来自大多数浏览器的 HTTP 流量,并允许您查看浏览器到底请求什么。然后,您可以手动制定所需的请求,如果它不起作用,您只需进行比较即可。 Firebug 或Google Chrome 的开发者工具等工具也能派上用场,尤其是对于大量异步请求。 (您必须在浏览器对象上调用
set_proxies
才能将其与 Fiddler 一起使用,请参阅文档) - 出于调试目的,请执行类似
for f in self.forms(): print f
的操作。这会向您显示页面上 Mechanize 识别的所有表单及其名称。 - 处理 cookie 是重复的,所以 - 令人惊讶! - 有一种简单的方法可以实现自动化。只需在浏览器类构造函数中执行此操作:
self.set_cookiejar(cookielib.CookieJar())
。这会自动跟踪 cookie。 - 我长期以来一直依赖像 BeautifulSoup 这样的自定义解析(并且在某些特殊情况下我仍然使用它),但在大多数情况下,网页屏幕抓取的最快方法是使用 XPath (对于例如,
lxml
有一个非常好的实现)。
关于python - 如何使用 Python Mechanize 自动添加 Google 快讯,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7198589/