En muchas ocasiones es habitual que tengamos dos personas que estén evaluando al mismo sujeto o el mismo objeto. Esto se suele hacer para "limar" juicios de valor o valoraciones subjetivas y ser más preciso en la evaluación de ese sujeto o ítem. En Estadística podemos obtener un valor que nos indique el grado de acuerdo de los dos jueces o evaluadores: el índice de Kappa (Cohen, 1960). Básicamente, las condiciones para obtener este sencillo valor es que haya dos evaluadores que estén analizando al mismo sujeto o ítem (puede ser en momentos distintos) empleando una variable nominal. Obtener la Kappa de Cohen en SPSS es una tarea muy sencilla de solicitar e interpretar.
1.- Requisitos para hacer una Kappa de Cohen
Para efectuar una Kappa de Cohen se deben cumplir las siguientes condiciones:
- Que haya dos evaluadores o jueces que analicen al mismo sujeto o elemento.
- Que tengan las mismas instrucciones y criterios para evaluarlo.
- Que sus valoraciones finales se extraigan de una variable cualitativa nominal.
Para hacer este análisis en SPSS podemos meter los datos de dos maneras distintas:
- A través de dos variables teniendo en cuenta que cada fila representa un sujeto: los resultados o valores del primer juez para cada sujeto objeto de estudio y los resultados o valores del segundo juez para cada sujeto objeto de estudio.
- Mediante una tabla de contingencia. Este es el caso para muestras mucho más amplias. En este caso tendremos tres variables: las combinaciones de las posibles categorías de la variable nominal que se ha usado para la valoración final (dos variables) y el recuento de cada una de esas posibilidades. En la guía que encontrarás al final de este pequeño paseo, te explicamos cómo se pueden meter datos en forma de tabla de contingencia en SPSS, en la cual deberás de clicar sobre el botón de Ponderar casos para que el programa no piense que cada fila representa un sujeto (sino más bien una combinación de posibilidades y su recuento).
2.- Procedimientos en SPSS
Para solicitar el índice kappa en SPSS seguiremos la siguiente ruta:
Analizar > Estadísticos descriptivos > Tablas cruzadas
A continuación, introduciremos una variable en filas y la otra en columnas. Haremos clic en el botón de Estadísticos y seleccionaremos Kappa. Pulsamos en Continuar y en Aceptar.
3.- Interpretación de los resultados
La tabla que más nos interesa para obtener el grado de concordancia entre las dos evaluaciones o diagnósticos es la de Medidas simétricas.
Más concretamente, nos fijaremos en la casilla de Valor. En líneas generales, cuando este índice esté más cerca de 1 significará que habrá una mayor concordancia o acuerdo entre las evaluaciones. Por el contrario, si está cerca de 0, significará que no habrá ninguna concordancia. Distintos expertos han propuesto ciertas tablas con intervalos para interpretar este valor. Nosotros te mostramos la de Landis y Koch (1977), que te ayudará a saber lo que significa tu valor K. [La referencia bibliográfica está en la guía].
Por otro lado, si quieres saber si este valor se puede trasladar a la población, es decir, si evaluásemos a toda la población de donde hemos extraído la muestra tendríamos un resultado similar, tenemos que recurrir a la casilla Significación aproximada (o p-valor). Como es habitual, si este valor es menor que 0,050 (p < 0,050) podemos rechazar la hipótesis nula y admitir que el acuerdo alcanzado entre ambos jueces se deba al azar y que en circunstancias similares, si evaluásemos a toda la población, obtendríamos los mismos resultados.
4.- Guía para llevar a casa
Para conocer con más detalle este valioso valor que nos da detalle sobre el grado de acuerdo entre dos evaluaciones, puedes hacer clic en el siguiente enlace o, si lo prefieres, escanear el código qr con tu dispositivo móvil para descargarte la completa guía:
En esta guía veremos qué es eso del índice de Kappa, aplicaremos un ejemplo real para ver cómo se solicita e interpreta este valor en SPSS y veremos la forma que tiene el programa de meter datos en forma de tablas de contingencia o tablas cruzadas. Además, conoceremos en detalle el contraste de hipótesis de este estadístico.
5.- Banco de datos
Puedes entrenar este procedimiento en SPSS con la base de datos que encontrarás en el siguiente enlace y que también se ha empleado para el diseño de la guía.
La base de datos contiene la evaluación a 200 personas que llevaron a cabo dos psicólogos de un hospital el año pasado. En esencia, estos dos psicólogos debían hacer un diagnóstico y valorar, de manera individual y en momentos distintos, el tipo de neurosis que padecían los 200 pacientes. Específicamente, debían clasificar la neurosis de cada paciente en fobia, histeria, obsesión o depresión. Así, cada paciente tenía dos evaluaciones: la del primer psicólogo y la del segundo psicólogo.
- Se desea conocer el grado de acuerdo entre los dos psicólogos sobre las evaluaciones.
- Haciendo clic en el siguiente enlace podrás descarte un archivo tipo .sav (compatible con la mayoría de softwares estadísticos, pero sobre todo con SPSS) que tiene como título Neurosis (Kappa).
- Hemos metido los datos en forma de tabla de contingencia. Recuerda darle al menú Datos y Ponderar Casos para que SPSS los trate como tal. A continuación, deberás seleccionar la variable Recuento total en Ponderar casos mediante.
- En la base de datos, en lugar de usar la palabra psicólogos se ha usado la palabra juez para referirse a los diagnósticos de los 200 pacientes.
- Puedes dejar tu comentario abajo si quieres compartir cualquier cosa.
Sigma y Jacob Sierra Díaz
