javascript - Nokogiri 可以解释 javascript 吗? - 网页抓取

标签 javascript ruby-on-rails ruby web-scraping nokogiri

我们正在尝试抓取此页面上的可用性: http://www.equityapartments.com/new-york/new-york-city-apartments/midtown-west/mantena-apartments.aspx

我需要使用我的蜘蛛程序来选择“所有楼层平面图”并获取所有可用性。但我相信数据实际上是通过 Javascript 请求发送的。我的 Nokogiri 蜘蛛有没有办法渲染它?或者模拟点击按钮的过程?

最佳答案

Nokogiri只是一个parser .它还允许搜索内容。

要与网页交互,您需要使用其他东西,例如WatirPhantomJS .

将它们组合在一起:

browser = Watir::Browser.new(:phantomjs)

browser.goto(your_url_above)
browser.link(text: 'All floorplans').click

document = Nokogiri::HTML(browser.html)
document.search(...)

关于javascript - Nokogiri 可以解释 javascript 吗? - 网页抓取,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30746397/

相关文章:

javascript - 找不到要加载的主 socket 'XYZComponent'

JavaScript 根据浏览器时区更改我的日期

javascript - 将 javascript 更改事件转换为 jquery

javascript - 当用户特别选择一项时,JQUERY 使复选框项禁用

mysql - 如何使用 5 个不同的表 mysql 创建内部查询

ruby-on-rails - 如何使用子目录而不是子域?

ruby-on-rails - Heroku vs DotCloud vs Duostack vs 其他云/PaaS 提供商(Rails 和非 Rails)?

ruby - 中间人服务器在 Windows 0.0.0.0 :4567 上不工作

ruby - 可扩展的自托管文件上传到 Ruby on Rails

ruby-on-rails - rails : encoding woes with serialized hashes despite UTF8