Kappa de Cohen

Kappa de Cohen: magnitud y alcance

Mide el acuerdo entre dos evaluadores descontando el acuerdo esperado.

Kappa descuenta del acuerdo observado Po la parte Pe que el modelo atribuye al azar y normaliza por el acuerdo todavía posible 1−Pe.

El acuerdo observado puede construirse desde la diagonal de una tabla de clasificaciones, mientras Pe usa los totales marginales de cada evaluador. Introducir ambos como proporciones resume esa tabla, pero no permite reconstruir patrones concretos de desacuerdo.

Fórmula κ=(Po−Pe)/(1−Pe).

κ=1 representa acuerdo perfecto, κ=0 acuerdo igual al esperado y valores negativos acuerdo inferior a esa referencia.

Campos visibles: Acuerdo observado Po y acuerdo esperado Pe. κ=(Po−Pe)/(1−Pe).

Ejemplo numérico: κ = 0.6.

Acuerdo observado Po y acuerdo esperado Pe: «0.8 0.5».

Con Po=0.8 y Pe=0.5, κ=(0.8−0.5)/(1−0.5)=0.6.

Resultado completo: κ = 0.6.

Po=0.8 por sí solo diría 80 % de acuerdo; κ=0.6 comunica cuánto queda después de descontar Pe=0.5. Si Pe fuera 0.7 con el mismo Po, κ bajaría a 1/3. Esta comparación muestra que no puede obtenerse kappa desde el acuerdo bruto sin conocer el acuerdo esperado bajo las distribuciones marginales.

Lectura matemática de κ

Dos estudios con igual porcentaje de acuerdo pueden dar kappas distintos si cambian las prevalencias marginales y, con ellas, Pe.

Cuando una categoría es muy prevalente, Pe puede ser alto y reducir κ incluso con Po elevado. Este efecto, conocido como paradoja de prevalencia, obliga a informar también el acuerdo bruto y la distribución de categorías.

Restricciones propias de kappa de Cohen

Po y Pe deben estar en [0,1], y Pe=1 hace el cociente indefinido. Los umbrales cualitativos de κ dependen del campo.

Kappa simple trata todos los desacuerdos igual. Para categorías ordinales puede ser más apropiado un kappa ponderado; para más de dos evaluadores se necesita otra extensión.

Fuentes y referencias

• Kappa y acuerdo entre evaluadores, artículo de revisión

Continúa con estas herramientas

• Calculadora Porcentajes
• Probabilidades
• Proporciones

Preguntas frecuentes

¿Qué supuesto impide extender este resultado a otro caso?

κ=0 representa acuerdo no superior al esperado en el modelo.

¿Qué representan los controles «Acuerdo observado Po y acuerdo esperado Pe»?

Po es acuerdo observado y Pe acuerdo esperado. Cada valor ocupa la posición indicada por la fórmula κ=(Po−Pe)/(1−Pe).

¿Cómo se llega a κ = 0.6.?

Con Acuerdo observado Po y acuerdo esperado Pe: «0.8 0.5», se sustituyen las magnitudes en κ=(Po−Pe)/(1−Pe). El cálculo da κ = 0.6.

¿Qué entradas quedan fuera del dominio de kappa de Cohen?

Po es acuerdo observado y Pe acuerdo esperado. Pe=1 haría indefinido el cociente. κ=0 representa acuerdo no superior al esperado en el modelo.

¿Qué indica el resultado dentro de este modelo?

Pe=1 haría indefinido el cociente.