ruby-on-rails - ruby mechanize 网站抓取总是只返回 javascript 数据

标签 ruby-on-rails ruby web-scraping nokogiri mechanize

我正在使用 mechanize gem 来抓取具有登录身份验证的网站内容。我可以使用 mechanize gem 成功登录,但是在使用 mechanize 提交表单后,服务器响应仅为 javascript 内容,我在响应页面中只能看到 javascript 内容我没有找到任何 html 数据,我不确定是什么我做错了。这是我的代码,请看一下

agent = Mechanize.new { |a|
 a.follow_meta_refresh = true
}

agent.get("https://www.somewebsite.com/signin.html")

form = agent.page.forms.first
form.username = 'username@mail.com'
form.password = 'password'
page = form.submit

puts page.body ## returns javascript content only

但原始网站有我想要的仪表板内容。

任何人都可以帮助我,提前致谢。

最佳答案

我用 capybara-webkit 来解决我的问题

关于ruby-on-rails - ruby mechanize 网站抓取总是只返回 javascript 数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27999520/

相关文章:

ruby-on-rails - 屠宰 Ruby on Rails 安装

ruby-on-rails - 当我进行捆绑安装时,我收到了 kgio gem 的 gem 安装错误

python - 是否有与 Ruby 的 'any?' 函数等效的 Python?

python - 不能以正确的方式在蜘蛛中使用 dont_filter=true 来避免一些不需要的事件

web-scraping - 网络抓取是否合法?

ruby-on-rails - Jquery 库在 Rails 4 中无法正常工作

ruby-on-rails - Textmate Rails3 没有这样的文件要加载 — bundler

ruby - 如何检查实例状态在 ruby​​ 中使用 "aws-sdk"?

ruby - 包含 'OR' 管道的正则表达式匹配输入字符串中的管道

javascript - Python 网络抓取 - 从哪里开始