我正在尝试获取该网站表格中的数据，该数据在页面加载后通过 jquery 更新(我有权限):
我目前使用 selenium 和 beautifulsoup 来获取数据，但是因为这些数据在 html 源中不可见，所以我无法访问它。我试过 PyQt4 但它同样没有得到更新的 html 源代码。
这些值在 firebug 和 chrome 开发人员中可见，那么是否有任何 python 包可以利用它并将其提供给 beautifulsoup？
我不是一个大技术专家，所以理想情况下我想要一个可以在 Python 或下一个最简单的软件类型中运行的解决方案。
我知道我可以通过专有的“屏幕抓取”软件获得它，但那很昂贵。
最佳答案
页面正在进行 AJAX 调用以获取数据到 http://whichchart.com/service.php?action=NewcastleCoal它以 JSON 格式返回值。因此，您可以执行以下操作:
- 使用urllib通过HTTP获取数据
- 用json库读取方法解析数据
- 现在你有一个 python 对象要处理
如果您需要处理 HTML 页面内容，我建议使用像 BeautifulSoup 或 scrapy 这样的库
关于python - 使用 Python 抓取 Ajax，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10440480/