与 Cohen Kappa 的多标签注释器协议

Question

假设我想要对文档进行注释。每个文档都可以使用多个标签进行注释。在这个例子中，我有 2 个注释器（a 和 b），他们每个都标记了两个文档。

from sklearn.metrics import cohen_kappa_score

annotator_a = [ 

    ["a","b","c"],

    ["d","e"]

]

annotator_b = [

    ["b","c"],

    ["f"]

]

Annotator_a 用标签 a、b 和 c 标记文档 1。Annotator_b 用标签 b 和 c 标记文档 1。

我尝试使用以下方法计算注释者协议：

cohen_kappa_score(annotator_a, annotator_b)

但这会导致错误：

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead.

关于如何计算此集合上的注释者协议的任何想法？

Answer 1

Cohen's Kappa 不支持多标签输入。除了使用 Cohen 的 Kappa，还可以使用 Krippendorff 的 Alpha。该度量支持评估者间的一致性、缺失值和非排他性主题。它在pypi上可用。