ruby - 获取共享数组空间的memsize

Question

tl;dr

require 'objspace'

ObjectSpace.memsize_of([0] * 1_000_000)
#=> 8000040
ObjectSpace.memsize_of(Array.new([0] * 1_000_000))
#=> 40

它去哪儿了？

更长的版本

Array 中的一大堆东西似乎有一个“共享数组”的概念，其中数据 block 被移动到共享堆空间。我知道 memsize_of 清楚地表明它可能不完整，但是是否有(好的？)方法来分析这些共享数组 block 的分配？从 ObjectSpace.each_object 的角度来看，它们似乎不是“对象”。出于此内存分析器的目的，即使我无法将其追溯到特定对象，但至少能够跟踪共享数组堆空间的总体大小会很好。

Answer 1

幸运的是 rb_ary_memsize 是一个公共(public)函数，所以通过一些小技巧，你可以做到:

#include <ruby.h>
#include <assert.h>

/* private macros from array.c */
#define ARY_OWNS_HEAP_P(a) (!FL_TEST((a), ELTS_SHARED|RARRAY_EMBED_FLAG))
#define ARY_SHARED_P(ary) \
    (assert(!FL_TEST((ary), ELTS_SHARED) || !FL_TEST((ary), RARRAY_EMBED_FLAG)), \
     FL_TEST((ary),ELTS_SHARED)!=0)

RUBY_FUNC_EXPORTED size_t
rb_ary_memsize(VALUE ary)
{
    if (ARY_OWNS_HEAP_P(ary)) {
        return RARRAY(ary)->as.heap.aux.capa * sizeof(VALUE);
    }
/* -------8<------8<------- */
    else if (ARY_SHARED_P(ary)){
        /* if it is a shared array, calculate size using length of shared root */
        return RARRAY_LEN(RARRAY(ary)->as.heap.aux.shared) * sizeof(VALUE);
    }
/* ------->8------>8------- */
    else {
        return 0;
    }
}

编译成共享对象:

gcc $(ruby -rrbconfig \
  -e'puts RbConfig::CONFIG.values_at("rubyhdrdir","rubyarchhdrdir").map{|d| " -I#{d}"}.join') \
  -Wall -fpic -shared -o ary_memsize_hack.so ary_memsize_hack.c

并加载到替换原来函数的进程中:

LD_PRELOAD="$(pwd)/ary_memsize_hack.so" ruby -robjspace \
  -e 'p ObjectSpace.memsize_of([0] * 1_000_000); 
      p ObjectSpace.memsize_of(Array.new([0] * 1_000_000))'

它将产生所需的输出:

8000040
8000040

更新: rb_ary_memsize 函数负责估计数组大小，仅对拥有堆(即非共享且非嵌入)的数组执行此操作，否则返回零。一般来说，这是有道理的，因为如果你应该计算应用程序中所有数组的大小，最终数字应该匹配，而在我的补丁中，共享数组的内容将被计算多次。我想主要问题是在 ruby​​ 端构建包装数组的方式:本质上是内部数组的引用丢失了，应用程序代码无法访问它，看起来是不可数的。我的补丁只演示了如何到达共享数组的根以公开大小，但我认为这不应该以任何方式集成到上游。嵌入式数组也会有类似的问题，因为 ruby​​ 也会返回 0 作为大小，这不会显示应用程序期望看到的内容:

require 'objspace'

puts ObjectSpace.dump([1])
#=> {"address":"0x000008033f9bd8", "type":"ARRAY", "class":"0x000008029f9a98", "length":1, 
#    "embedded":true, "memsize":40, "flags":{"wb_protected":true}}
puts ObjectSpace.dump([1, 2])
#=> {"address":"0x000008033f9b38", "type":"ARRAY", "class":"0x000008029f9a98", "length":2, 
#    "embedded":true, "memsize":40, "flags":{"wb_protected":true}}
puts ObjectSpace.dump([1, 2, 3])
#=> {"address":"0x000008033f9ac0", "type":"ARRAY", "class":"0x000008029f9a98", "length":3, 
#    "embedded":true, "memsize":40, "flags":{"wb_protected":true}}
puts ObjectSpace.dump([1, 2, 3, 4])
#=> {"address":"0x000008033f9a48", "type":"ARRAY", "class":"0x000008029f9a98", "length":4,
#    "memsize":72, "flags":{"wb_protected":true}}