r - 用于基准实验的重采样中的getResamplingIndices-MLR

我在基准实验中使用嵌套的交叉验证。我想检索用于每个外部循环的实例的索引。我知道有一个适合该任务的函数getResamplingIndices()。但它不会接受“ BenchmarkResult”对象。有办法解决这个问题吗?这是一个例子:

res = benchmark(lrns, task, outer, measures = list(auc, ppv, npv), show.info = FALSE, models = T)

getResamplingIndices(res)

Error in getResamplingIndices(res) : 
  Assertion on 'object' failed: Must inherit from class 'ResampleResult', but has class 'BenchmarkResult'.

最佳答案

重采样索引在任务之间是相同的,因此只需将其应用于嵌套在ResamplingResult对象中的BenchmarkResult对象中。

如果您想为BenchmarkResult对象中的每个任务使用它,请执行

inds_by_task = lapply(bmr$results, function(x) getResamplingIndices(x[[1]]))


请参阅下面的完整说明。

library(mlr)
#> Loading required package: ParamHelpers

lrns = list(makeLearner("classif.lda"), makeLearner("classif.rpart"))
tasks = list(iris.task, sonar.task)
rdesc = makeResampleDesc("CV", iters = 2L)
meas = list(acc, ber)
bmr = benchmark(lrns, tasks, rdesc, measures = meas, show.info = FALSE)

getResamplingIndices(bmr$results$`iris-example`$classif.lda)
#> $train.inds
#> $train.inds[[1]]
#>  [1]  25 136  62  77  22 114 101 145  87  34  93 120 133 126  76   4 105  97   7
#> [20] 128  49  19 106   9  54   5  72 102  73  51 109 115  23  86  89 112 130  69
#> [39]  57 122  53  12  60  40  36  70  83  90 108  81  38  50 129  75  71  59  47
#> [58]  95  31 147  37  30 127  43 148 103  27  66 137  29 124  35 143 132  45
#> 
#> $train.inds[[2]]
#>  [1]  79 123  28  17  82  55 110   8 107  26 125 121  32  33  48 119  98  58 116
#> [20] 144 139  67  13 142 111  16  65  21  74  42 113 149 117   2  99  68 140 104
#> [39]  96 150   1  94  46 131 135  11  10 146  85  15  52  78  63 100   3 118 134
#> [58]   6  88 138  41  39  92  56  84  61  20  24  91  80  18  64  14 141  44
#> 
#> 
#> $test.inds
#> $test.inds[[1]]
#>  [1]   1   2   3   6   8  10  11  13  14  15  16  17  18  20  21  24  26  28  32
#> [20]  33  39  41  42  44  46  48  52  55  56  58  61  63  64  65  67  68  74  78
#> [39]  79  80  82  84  85  88  91  92  94  96  98  99 100 104 107 110 111 113 116
#> [58] 117 118 119 121 123 125 131 134 135 138 139 140 141 142 144 146 149 150
#> 
#> $test.inds[[2]]
#>  [1]   4   5   7   9  12  19  22  23  25  27  29  30  31  34  35  36  37  38  40
#> [20]  43  45  47  49  50  51  53  54  57  59  60  62  66  69  70  71  72  73  75
#> [39]  76  77  81  83  86  87  89  90  93  95  97 101 102 103 105 106 108 109 112
#> [58] 114 115 120 122 124 126 127 128 129 130 132 133 136 137 143 145 147 148


reprex package(v0.3.0)创建于2020-01-04

本文翻译自 https://stackoverflow.com/questions/59583188/

网站遵循 CC BY-SA 4.0 协议,转载或引用请注明出处。

标签 r machine-learning resampling mlr


相关文章:

windows - 如何在Windows上安装Cran软件包?

java - 用Java imageIO重新采样时,jpegs已损坏

c# - 重采样WasapiLoopbackCapture

video - 自动选择视频缩略图

python - 使用Pandas到CSV,如何在多级索引中组织时间和数值数据

css - Shinydashboard-根据选定的选项卡更改背景

mysql - 用于分组变异操作的dbplyr窗口函数

python - 当x = y时,Numpy和R在线性回归中给出非零截距

machine-learning - 为什么逻辑回归的成本函数具有对数表达式?

machine-learning - 每个神经元的神经网络偏差