ruby - 如何使用socksify gem(代理)抓取网站

标签 ruby proxy socks tor net-http

我正在阅读 socksify gem 的文档在 Rubyforge 上。我已成功安装 gem,并且已成功运行此记录的代码来测试我的本地实现是否可以复制它:

require 'socksify/http'
uri = URI.parse('http://rubyforge.org/')
Net::HTTP.SOCKSProxy('127.0.0.1', 9050).start(uri.host, uri.port) do |http|
  http.get(uri.path)
end
# => #<Net::HTTPOK 200 OK readbody=true>

但是我该如何做?抓取'http://google.com/',并获取html内容?我希望用例如来解析它像这样的 Nokogiri:

Nokogiri::HTML(open("http://google.com/))

最佳答案

 require 'socksify/http'
 http = Net::HTTP::SOCKSProxy(addr, port)
 html = http.get(URI('http://google.de'))
 html_doc = Nokogiri::HTML(html)

关于ruby - 如何使用socksify gem(代理)抓取网站,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21752838/

相关文章:

proxy - 无法从 socks 中确定 SOCKS 版本

ruby-on-rails - Rails 关联 has_many 通过而不是 HABTM

c - 警报(级别 : Fatal, 描述:解码错误)- 转发代理

proxy - influxdb 代理或 influxdb 从其他 influxdb 获取数据

java - 查找要在 System.setProperty ("socksProxyPort") 中设置的 socks 代理端口 - windows java -

emacs - 让 Emacs 通过 Socks 代理访问 HTTPS

mysql - 使用现有数据库的 active_admin 应用程序

ruby-on-rails - 如何在 Ruby 中逐行将文本文件从网站导入数据库

mysql - Rails 时间戳 : complex order by updated_at/created_at

haskell - 有人可以用*非常*简单的术语解释反射包 API 吗?