我正在尝试从最新日期(即表的第一行,this)中抓取数据 URL 链接。页。看起来表格的内容是由 JavaScript 函数生成的。
我尝试使用 Nokogiri 来获取它,但 Nokogiri 无法抓取 JavaScript。然后,我尝试仅使用 Nokogiri 获取脚本部分:
url = "http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data"
doc = Nokogiri::HTML(open(url))
js = doc.css("script").text
puts js
在输出中,我找到了我想要的表,其类名为 sgxTableGrid
。但是,问题是 JavaScript 函数中没有关于数据 URL 链接的任何线索,并且所有内容都是动态生成的。
有人知道解决这个问题的更好方法吗?
最佳答案
查看该页面的 HTML,该表是由作为 JavaScript 请求结果接收到的 JSON 生成的。
您可以通过向后追踪页面的源代码来弄清楚发生了什么。如果您想在 JavaScript 之外检索 JSON,则需要以下一些内容,但实际上仍然需要做一些工作:
从这段代码开始:
require 'open-uri' require 'nokogiri' doc = Nokogiri::HTML(open('http://www.sgx.com/wps/portal/sgxweb/home/marketinfo/historical_data/derivatives/daily_data')) scripts = doc.css('script').map(&:text) puts scripts.select{ |s| s['sgxTableGrid'] }
查看编辑器中的文本输出。搜索
sgxTableGrid
。你会看到这样一行:var tableHeader = "<table width='100%' class='sgxTableGrid'>"
再往下看一点,你会发现:
var totalRows = data.items.length - 1;
data
来自被调用函数的参数,所以这就是我们开始的地方。获取包含函数名称的唯一部分
loadGridns_
并搜索它。每次找到它时,查找参数data
,然后查看data
的定义位置。如果它被传递到该方法中,则搜索以查看调用它的内容。重复该过程,直到发现变量没有传递到函数中,此时您就会知道您正在使用创建它的方法。我发现自己处于一个以
loadGridDatans
开头的函数中,它是执行xhrPost
调用以检索 URL 的 block 的一部分。该 URL 就是您要查找的目标,因此请获取包含函数的名称,然后循环遍历传入 URL 的调用,就像您在上面的步骤中所做的那样。搜索结果如下所示:
var url = viewByDailyns_7_2AA4H0C090FIE0I1OH2JFH20K1_...
此时您可以开始重建所需的 URL。打开 JavaScript 调试器(例如 Firebug),并在该行上放置一个断点。重新加载页面,JavaScript 应在该行停止执行。单步执行或设置断点,并观察
url
变量的创建过程,直至其达到最终形式。此时,您可以在OpenURI
中使用一些东西,它应该检索您想要的 JSON。
注意,它们的函数名称可能是动态生成的;我没有检查,因此尝试使用函数的全名可能会失败。
他们还可能会序列化日期时间戳或使用序列化的 session key 来使函数名称唯一/更不透明,这样做的原因有很多。
尽管拆开这些东西很痛苦,但这也是动态页面如何工作的一个很好的教训。
关于javascript - 如何使用 Ruby 抓取由 Javascript 函数生成的数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19713224/