R - 混淆矩阵中缺失因子的条件替换

Question

我正在为大型样本点数据集创建混淆矩阵，并且需要使用 confusionMatrix 循环遍历它们。通过 R 包的函数 caret (我使用输出中的准确性指标，即我不能只使用 table )。每组样本点应该有三个类/因子，即我应该有 3x3 表，但是一些引用和预测数据包含少于两个类，或不重叠的类，例如:

 Class  A  B             Class  C
   A    8  2               A    3
   B    1  0
   C    1  7
* columns = reference data, rows = predicted data

我需要相同数量的类/因子来运行 confusionMatrix ，所以我想做的是有条件地将缺失的因子替换为零，如下所示:

 Class  A  B  C          Class  A  B  C
   A    8  2  0            A    0  0  3
   B    1  0  0            B    0  0  0
   C    1  7  0            C    0  0  0

我使用的预测/引用数据是数值列表，所以我不会在这里重现它们；对于我上面提供的示例，您可以将其视为一个向量，例如:

predicted.data[1] = A A A A A A A A A A B C C C C C C C C
reference.data[1] = A A A A A A A A A A B B B B B B B B B
predicted.data[2] = A A A
reference.data[2] = C C C 

我尝试创建某种条件 if声明大致如下:

   tab <- table(predicted.data, reference.data)
   if(nrow(tab) != ncol(tab){
   classes <- c("A","B","C")
   missing <- setdiff(classes,names(tab))
   ...
   ...
   }

# would put in a loop/index actual data obviously 

但我似乎无法让它按照我想要的方式工作。有什么想法吗？

编辑:我正在使用的实际数据示例(通过栅格/形状文件)和错误消息；数据具有相同的长度，但没有引用数据被分类为“2”:

> mask.vals[[4]]
  [1] 0 4 0 0 0 2 4 0 4 0 4 0 0 0 0 0 4 0 4 2 0 0 0 0 0 0 0 4 0 0 0 0 0 0 4 0 
0 0 0 0 0 0 0 2 2 0 2 0 4 0 0 4 2 0 0 4 0 0 0 0 0 0 0 2 0 2 0 2 4 0 4
 [72] 4 0 0 0 0 4 4 0 0 0 0 0 0 0 4 0 0 0 0 4 4 4 4 0 4 4 4 4 4 0 4 4 4 0 4 0 
0 4 4 4 4 4 4

> ref.data[[4]]@data$CLASS_ID
  [1] 0 4 4 4 4 4 4 4 4 4 4 4 4 4 0 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 
4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4
 [72] 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 
4 4 4 4 4 4 4

> confusionMatrix(data = mask.vals[[4]], reference = ref.data[[4]]@data$CLASS_ID)

Error in confusionMatrix.default(data = mask.vals[[4]], reference = ref.data[[4]]@data$CLASS_ID) : 
  the data cannot have more levels than the reference

即需要从这里开始:

> table(mask.vals[[4]], ref.data[[4]]@data$CLASS_ID)
        0  4          
   0    2  67              
   2    0  9
   4    0  36

对此:

        0  2  4          
   0    2  0  67              
   2    0  0  9
   4    0  0  36

即使我定义了数据的三个级别(例如 levels(ref.data[[4]]@data$CLASS_ID) <- c("0","2","4") 或 factor(ref.data[[4]]@data$CLASS_ID, levels = c("0","2","4") )，此错误仍然存​​在...

Answer 1

无论引用和/或预测向量中是否缺少某些级别，caret confusionMatrix 函数都会返回 n x n 表。我想知道您如何设法获得缺少一些引用数据列的混淆矩阵。例如，使用内置的 iris 数据框:

library(caret)

set.seed(2)
dat = data.frame(ref=iris$Species, pred=sample(iris$Species))

# Remove two levels from the reference data
dat1 = dat[dat$ref=="setosa", ]

# Get the confusion matrix
cm1 = confusionMatrix(dat1$pred, dat1$ref)

cm1$table

            Reference
Prediction   setosa versicolor virginica
  setosa         15          0         0
  versicolor     15          0         0
  virginica      20          0         0

# No overlap between reference and prediction
dat2 = dat[dat$ref=="setosa" & dat$pred=="versicolor", ]

# Get the confusion matrix
cm2 = confusionMatrix(dat2$pred, dat2$ref)

cm2$table

            Reference
Prediction   setosa versicolor virginica
  setosa          0          0         0
  versicolor     15          0         0
  virginica       0          0         0

在上面的示例中，ref 和 pred 列均被编码为具有原始三个级别的 Species 的因子。我们可以重新编码它们以删除空的级别:

dat2$ref = droplevels(dat2$ref)
dat2$pred = droplevels(dat2$pred)

您可以看到每一列中只存在一个因子水平:

lapply(dat2, levels)    

$ref [1] "setosa"

$pred [1] "versicolor"

但是如果您运行 confusionMatrix 它现在会抛出错误，因为两个向量的级别之间没有重叠:

cm3 = confusionMatrix(dat2$pred, dat2$ref)

Error in confusionMatrix.default(dat2$pred, dat2$ref) : The data must contain some levels that overlap the reference.

更新:如果您在引用向量和预测向量中设置相同的因子级别，confusionMatrix 将起作用。您已经更新了问题，但仍然无法重现，因此很难确定工作流程中哪里出了问题。目前，这是一个与您在问题中显示的示例类似的示例，并且在设置公因子水平后按预期工作。

library(caret)

set.seed(2)
mask.vals = sample(c(0,2,4), 100, replace=TRUE)
ref.data = rep(4,100)

cm = confusionMatrix(mask.vals, ref.data)

Error in confusionMatrix.default(mask.vals, ref.data) : 
  the data cannot have more levels than the reference

mask.vals = factor(mask.vals, levels=c(0,2,4))
ref.data = factor(ref.data, levels=c(0,2,4))

cm = confusionMatrix(mask.vals, ref.data) 

cm$table

          Reference
Prediction  0  2  4
         0  0  0 35
         2  0  0 31
         4  0  0 34