python - 多评估者数据的评估者间可靠性计算

Question

我有以下列表:

[[1, 1, 1, 1, 3, 0, 0, 1],
 [1, 1, 1, 1, 3, 0, 0, 1],
 [1, 1, 1, 1, 2, 0, 0, 1],
 [1, 1, 0, 2, 3, 1, 0, 1]]

我想在哪里计算 inter-rater可靠性分数，有多个评分者(行)。我不能使用 Fleiss 的 kappa，因为行的总和不等于相同的数字。在这种情况下什么是好的方法？

Answer 1

这个问题的一个答案是使用 krippendorff alpha 分数:

Wikipedia Description

Python Library

import krippendorff

arr = [[1, 1, 1, 1, 3, 0, 0, 1],
       [1, 1, 1, 1, 3, 0, 0, 1],
       [1, 1, 1, 1, 2, 0, 0, 1],
       [1, 1, 0, 2, 3, 1, 0, 1]]    
res = krippendorff.alpha(arr)