ruby-on-rails - 如何通过 Ruby 中的代理获取带有用户代理和超时的 URL？

Question

如果我需要通过某个代理获取 URL，我该如何获取 URL，它的超时必须为最大 n。秒，还有一个用户代理？

   require 'nokogiri'
   require 'net/http'
   require 'rexml/document'

   def get_with_max_wait(param, proxy, timeout)
     url = "http://example.com/?p=#{param}"
     uri = URI.parse(url)
     proxy_uri = URI.parse(proxy)
     http = Net::HTTP.new(uri.host, 80, proxy_uri.host, proxy_uri.port)
     http.open_timeout = timeout
     http.read_timeout = timeout
     response = http.get(url)
     doc = Nokogiri.parse(response.body)
     doc.css(".css .goes .here")[0].content.strip
   end

上面的代码通过超时代理获取 URL，但缺少用户代理。如何通过用户代理获取它？

Answer 1

您应该使用 open-uri 并将用户代理设置为 open 函数中的参数。

下面是一个示例，我在变量中设置用户代理并将其用作 open 函数中的参数。

    require 'rubygems'
    require 'nokogiri'
    require 'open-uri'

    user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.854.0 Safari/535.2"

    url = "http://www.somedomain.com/somepage/"

    @doc = Nokogiri::HTML(open(url, 'proxy' => 'http://(ip_address):(port)', 'User-Agent' => user_agent, 'read_timeout' => 10 ), nil, "UTF-8")

有一个选项可以在 openURI 中设置读取超时

您可以在下面的链接中查看 Open URI 的文档

Open URI documentation