python - beautifulsoup 和 Mechanize 以获得 ajax 调用结果

标签 python ajax beautifulsoup mechanize scraper

嗨,我正在使用 python 2.5 和 beautifulsoup 构建一个爬虫 但我遇到了一个问题......网页的一部分正在生成 用户单击某个按钮后,通过使用适当的参数调用特定的 javacsript 函数来启动 ajax 请求

有没有办法模拟用户交互并得到这个结果?我遇到了一个 Mechanize 模块,但在我看来,它主要用于处理表单 ...

我将不胜感激任何链接或一些代码示例 谢谢

最佳答案

好的,所以我已经想通了......在我意识到我可以使用 urllib、urllib2 和 beautifulsoup 的组合之后,这很简单

import urllib, urllib2
from BeautifulSoup import BeautifulSoup as bs_parse

data = urllib.urlencode(values)
req  = urllib2.Request(url, data)
res  = urllib2.urlopen(req)
page = bs_parse(res.read())

关于python - beautifulsoup 和 Mechanize 以获得 ajax 调用结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2610112/

相关文章:

python - 获取 Python 可以编码的所有编码的列表

javascript - 通过单击 div 填充输入 - jQuery

python - BeautifulSoup 不适用于某些网站

jQuery - .getjson VS .ajax json

javascript - 在 w3widgets 响应式日历上动态加载事件

python - 解析 Youtube 播放列表的 HTML

Python bs4 : How to Repeat “For” Loop with a Different Scraped Page if a Certain Condition is Met?

python - Pandas groupby 查找真假百分比

python - 带有 "Wide"数据的 Pandas groupby

python - 预测事件顺序的机器学习算法?