kappa de Cohen usando SPSS Statistics

kappa de Cohen en SPSS Statistics – Procedimiento, salida e interpretación de la salida usando un ejemplo relevante | Estadísticas de Laerd

Introducción

En los diseños de investigación en los que tiene dos o más evaluadores (también conocidos como «jueces» u «observadores») que son responsables de medir una variable en una escala categórica, es importante determinar si dichos evaluadores están de acuerdo. El kappa de Cohen (κ) es una medida de acuerdo entre calificadores para escalas categóricas cuando hay dos calificadores (donde κ es la letra griega minúscula ‘kappa’).

Hay muchas ocasiones en las que necesita determinar el acuerdo entre dos evaluadores. Por ejemplo, el jefe de un consultorio médico local podría querer determinar si dos médicos experimentados en el consultorio están de acuerdo en cuándo enviar a un paciente para que un especialista le revise un lunar. Ambos médicos observan los lunares de 30 pacientes y deciden si «derivar» o «no derivar» al paciente a un especialista (es decir, donde «derivar» y «no derivar» son dos categorías de una variable nominal, «decisión de derivación» ). El nivel de acuerdo entre los dos médicos para cada paciente se analiza mediante el kappa de Cohen. Dado que los resultados mostraron una muy buena fuerza de acuerdo entre los dos médicos, el jefe de la práctica médica local se siente algo seguro de que ambos médicos están diagnosticando a los pacientes de manera similar. Sin embargo, vale la pena señalar que incluso si dos evaluadores están totalmente de acuerdo, esto no significa necesariamente que su decisión sea correcta (p. ej., ambos médicos podrían estar diagnosticando mal a los pacientes, tal vez refiriéndolos con demasiada frecuencia cuando no es necesario). Esto es algo que debe tener en cuenta al informar sus hallazgos, pero no se puede medir con el kappa de Cohen (al comparar dos médicos).

Nota: Hay variaciones de la kappa de Cohen (κ) que están diseñadas específicamente para variables ordinales (llamadas kappa ponderada, κw) y para evaluadores múltiples (es decir, más de dos evaluadores).

Esta guía de «inicio rápido» le muestra cómo realizar el kappa de Cohen utilizando SPSS Statistics, así como interpretar e informar los resultados de esta prueba. Sin embargo, antes de presentarle este procedimiento, debe comprender las diferentes suposiciones que deben cumplir sus datos para que el kappa de Cohen le proporcione un resultado válido. Discutimos estos supuestos a continuación.

suposiciones

El kappa de Cohen tiene cinco supuestos que deben cumplirse. Si no se cumplen estas suposiciones, no puede usar el kappa de Cohen, pero puede usar otra prueba estadística en su lugar. Por lo tanto, para ejecutar un kappa de Cohen, debe verificar que el diseño de su estudio cumpla con los siguientes cinco supuestos:

  • Suposición #1: La respuesta (p. ej., el juicio) que hacen sus dos evaluadores se mide en un nominal escala (es decir, ya sea una ordinal o nominal variable) y las categorías deben ser mutuamente excluyentes. Por ejemplo, los dos evaluadores podrían evaluar si el lunar de un paciente era «normal» o «sospechoso» (es decir, dos categorías); si la calidad del servicio brindado por un agente de servicio al cliente estaba «por encima del promedio», «promedio» o «por debajo del promedio» (es decir, tres categorías); o si el nivel de actividad de una persona debe considerarse «sedentario», «bajo», «medio» o «alto» (es decir, cuatro categorías). Además, las categorías que evalúan los dos evaluadores deben ser «mutuamente excluyentes», lo que significa que ninguna categoría se superpone (p. ej., un evaluador solo puede considerar que el lunar de un paciente es normal O sospechoso; el lunar no puede ser normal y sospechoso al mismo tiempo). Mismo tiempo).
  • Suposición #2: Los datos de respuesta son observaciones emparejadas del mismo fenómeno, lo que significa que ambos evaluadores evalúan las mismas observaciones. Tome el ejemplo anterior de dos médicos experimentados a quienes se les pidió que observaran los lunares de 30 pacientes y decidieran si «referir» o «no remitir» a cada paciente a un especialista. Una única observación emparejada refleja la evaluación del «Doctor 1» para el «Paciente 1» en comparación con la evaluación del «Doctor 2» para el «Paciente 1» (es decir, están comparando al mismo paciente). Con 30 pacientes en el estudio, esto significa que hay 30 observaciones pareadas.
  • Suposición #3: Cada variable de respuesta debe tener la mismo número de categorías y el la tabulación cruzada debe ser simétrica (es decir, «cuadrado») (por ejemplo, tabulación cruzada de 2×2, tabulación cruzada de 3×3, tabulación cruzada de 4×4, etc.). Por ejemplo, una tabulación cruzada de 2×2 significa que las respuestas de ambos evaluadores se miden en una escala dicotómica; es decir, una escala nominal con dos categorías (p. ej., sin cicatrices frente a cicatrices; más fiable frente a menos fiable; resucitar frente a no resucitar, etc.). Por lo tanto, una tabulación cruzada de 3×3 significaría que las respuestas de ambos evaluadores se midieron en una escala nominal con tres categorías (p. ej., recuerdo completo de la información frente a recuerdo de alguna información frente a ningún recuerdo de información), mientras que una tabulación cruzada de 4×4 implica una variable nominal con cuatro categorías ( por ejemplo, votante indeciso vs votante flotante vs votante de protesta vs votante partidista).
  • Suposición #4: Los dos evaluadores son independiente (es decir, el juicio de un evaluador no afecta el juicio del otro evaluador). Por ejemplo, si los dos médicos en el ejemplo anterior discuten su evaluación de los lunares de los pacientes antes de registrar su respuesta (es decir, «referir» o «no remitir») o tal vez simplemente están en la misma habitación cuando hacen su evaluación, esto podrían influir en la valoración que hacen. Es importante que la posibilidad de dicho sesgo se elimine del diseño del estudio tanto como sea posible.
  • Suposición #5: Él mismos dos evaluadores se utilizan para juzgar todas las observaciones (p. ej., pacientes). Esto se ha referido como tener reparado o único evaluadores Si se usaron diferentes evaluadores para cada observación (p. ej., paciente), la kappa de Cohen no es la prueba apropiada para usar. Sin embargo, en este último caso, podría usar el kappa de Fleiss, que permite elegir evaluadores al azar para cada observación (p. ej., paciente).

Si el diseño de su estudio no cumple con estos cinco supuestos, no podrá ejecutar un kappa de Cohen. Si desea obtener más información sobre las características de kappa de Cohen, incluidas las hipótesis nula y alternativa que está probando, consulte nuestra guía kappa de Cohen mejorada. En la sección Procedimiento de prueba en SPSS Statistics, le mostramos cómo analizar sus datos utilizando el kappa de Cohen en SPSS Statistics. Primero, le presentamos el ejemplo que usamos en esta guía.

Ejemplo

Un cuerpo de policía local quería determinar si dos agentes de policía con un nivel de experiencia similar podían detectar si el comportamiento de las personas en una tienda minorista era «normal» o «sospechoso» (NB, la tienda minorista vendía una amplia gama de ropa artículos).

A los dos policías se les mostraron 100 videoclips seleccionados al azar. Cada videoclip capturó el movimiento de una sola persona desde el momento en que ingresó a la tienda minorista hasta el momento en que salió de la tienda. Al final de cada videoclip, se pedía a cada policía que registrara si consideraba que el comportamiento de la persona era «normal» o «sospechoso».

Después de que ambos oficiales de policía calificaron los 100 videos, se usó el kappa de Cohen para comparar las calificaciones de los dos oficiales.

Nota: Ambos policías vieron los mismos 100 videos. Además, se compararon las calificaciones de los dos oficiales de policía (es decir, comportamiento «normal» o «sospechoso») para las mismas personas (es decir, la calificación otorgada por el Oficial de policía 1 a la Persona 1 se comparó con la calificación otorgada por el Oficial de policía 2 para la Persona 1, y así sucesivamente).

Configuración en SPSS Estadísticas

Para un kappa de Cohen, tendrá dos variables. En este ejemplo, estos son: (1) los puntajes del «Evaluador 1», Oficial 1, que reflejan la decisión del Oficial de policía 1 de calificar el comportamiento de una persona como «normal» o «sospechoso»; y (2) las puntuaciones del «Evaluador 2», Oficial 2, que reflejan la decisión del Oficial de policía 2 de calificar el comportamiento de una persona como «normal» o «sospechoso». Si no está seguro de cómo introducir correctamente estas variables en el Vista de variables y Vista de datos de SPSS Statistics para que puedas realizar tu análisis, te mostramos cómo en nuestra guía kappa de Cohen mejorada. Puede obtener información sobre nuestro contenido mejorado de configuración de datos en nuestras Funciones: Configuración de datos o puede convertirse en miembro de Laerd Statistics para acceder a nuestra guía kappa de Cohen mejorada.

Procedimiento de prueba en SPSS Statistics

los 8 pasos Tabulaciones cruzadas… El siguiente procedimiento le muestra cómo analizar sus datos usando el kappa de Cohen en SPSS Statistics. Al final de estos ocho pasos, le mostramos cómo interpretar los resultados de esta prueba.

Nota 1: El procedimiento que sigue es idéntico para SPSS Estadísticas versiones 18 a 28así como el versión de suscripción de SPSS Estadísticas, con versión 28 y el versión de suscripción siendo el Últimas Versiones de SPSS Estadísticas. Sin embargo, en versión 27 y el versión de suscripciónSPSS Statistics introdujo una nueva apariencia en su interfaz llamada «Luz SPSS«, reemplazando el aspecto anterior de versiones 26 y versiones mas antiguasque se llamó «Estándar SPSS«. Por lo tanto, si tiene SPSS Statistics versiones 27 o 28 (o el versión de suscripción de SPSS Statistics), las imágenes que siguen serán azules en lugar de gris claro. Sin embargo, el procedimiento es idéntico.

Nota 2: si no está seguro de qué versión de SPSS Statistics está utilizando, consulte nuestra guía: Identificación de su versión de SPSS Statistics.

  • Hacer clic Analizar > Estadísticas descriptivas > Tablas cruzadas… en el menú principal:

    Menú para kappa de Cohen en SPSS Statistics

    Se le presentará el tabulaciones cruzadas cuadro de diálogo, como se muestra a continuación:

    Cuadro de diálogo 'Tablas cruzadas' para kappa de Cohen en SPSS Statistics

  • Debe transferir una variable (p. ej., Oficial1) al cuadro Fila(s): y la segunda variable (p. ej., Oficial2) al cuadro Columna(s):. Para hacer esto, resalte cada variable por separado y use el Flecha correcta para moverlos a las casillas Fila(s): y Columna(s). Terminará con una pantalla similar a la siguiente:

    Cuadro de diálogo 'Tablas cruzadas' para kappa de Cohen en SPSS Statistics con 'Oficial 1' y 'Oficial 2' transferidos

  • Clickea en el Estadísticas botón. Se le presentará el Tabulaciones cruzadas: Estadísticas cuadro de diálogo, como se muestra a continuación:

    Cuadro de diálogo 'Tablas cruzadas: Estadísticas' para kappa de Cohen en SPSS Statistics

  • Seleccione la casilla de verificación Kappa. Terminará con el siguiente cuadro de diálogo:

    Cuadro de diálogo 'Tablas cruzadas: Estadísticas' para kappa de Cohen con opciones marcadas

  • Clickea en el Continuar botón y volverá a la tabulaciones cruzadas cuadro de diálogo
  • Clickea en el Células botón. Se le presentará el Tablas de referencias cruzadas: Visualización de celdas cuadro de diálogo, como se muestra a continuación:

    Cuadro de diálogo 'Tablas cruzadas: Visualización de celdas' para kappa de Cohen en SPSS Statistics

  • Mantenga seleccionada la casilla de verificación Observado, como se muestra a continuación:

    Cuadro de diálogo 'Tablas cruzadas: Visualización de celdas' para kappa de Cohen en SPSS Statistics.  Opciones predeterminadas seleccionadas

    Nota: si tiene SPSS Statistics versiones 27 o 28 (o el versión de suscripción de SPSS Statistics) y desea crear un tabulaciones cruzadas mesa en el Estilo APAhaga clic en la casilla de verificación Crear tabla de estilo APA, como se muestra a continuación:

    Cuadro de diálogo 'Tablas cruzadas: Visualización de celdas' para kappa de Cohen en SPSS Statistics.  'Tabla estilo APA' seleccionada

    Si tiene SPSS Estadísticas versión 26 o un version anterior de SPSS Statistics, no verá la casilla de verificación Crear tabla de estilo APA porque esta característica se introdujo en SPSS Statistics versión 27.

  • Clickea en el DE ACUERDO botón. Serás devuelto a la tabulaciones cruzadas cuadro de diálogo, como se muestra a continuación:

    Cuadro de diálogo 'Tablas cruzadas: Visualización de celdas' para kappa de Cohen en SPSS Statistics

  • Clickea en el DE ACUERDO botón para generar la salida para kappa de Cohen.
  • Ahora que ha ejecutado el procedimiento kappa de Cohen, le mostramos cómo interpretar e informar sus resultados.

    Salida de kappa de Cohen en SPSS Statistics

    SPSS Statistics genera dos tablas principales de salida para el kappa de Cohen: la Tabulación cruzada mesa y Medidas simétricas mesa. Estos se discuten a continuación:

    Tabla de tabulación cruzada

    Antes de informar el resultado real de la kappa de Cohen (κ), es útil examinar los resúmenes de sus datos para tener una mejor «percepción» de sus resultados. La tabla generada por SPSS Statistics es una tabulación cruzada de las categorías de las dos variables (y a veces se denomina «matriz de confusión») y se titula Tabulación cruzada tabla, como se muestra a continuación:

    Tabla 'Crosstabulation' para kappa de Cohen en SPSS.  Categorías para 'Oficial 1' a lo largo de las filas y 'Oficial 2' debajo de las columnas

    Nota: si tiene SPSS Statistics versiones 27 o 28 (o el versión de suscripción de SPSS Statistics) y seleccionó la casilla de verificación Crear tabla de estilo APA en el Paso 6 del Tabulaciones cruzadas… procedimiento anterior, habrá generado el siguiente Tabulación cruzada tabla, formateada en el Estilo APA:

    Tabla 'Crosstabulation' para kappa de Cohen en SPSS.  Categorías para 'Oficial 1' a lo largo de las filas y 'Oficial 2' debajo de las columnas

    Podemos usar el Tabulación cruzada tabla, entre otras cosas, para comprender el grado en que los dos evaluadores (es decir, ambos oficiales de policía) estuvieron de acuerdo y en desacuerdo en su juicio sobre el comportamiento sospechoso. Puede ver en la tabla anterior que de las 100 personas evaluadas por los policías, 85 personas mostraron un comportamiento normal según lo acordado por ambos policías. Además, ambos oficiales coincidieron en que hubo siete personas que mostraron conductas sospechosas. Por lo tanto, hubo ocho individuos (es decir, 6 + 2 = 8) para los que los dos policías no pudieron ponerse de acuerdo sobre su comportamiento.

    Tabla de medidas simétricas

    Él Medidas simétricas La tabla presenta el kappa de Cohen (κ), que es una estadística diseñada para tener en cuenta el acuerdo de probabilidad. Esencialmente, incluso si los dos oficiales de policía en este ejemplo tuvieran que adivinar al azar sobre el comportamiento de cada individuo, terminarían coincidiendo en el comportamiento de algún individuo simplemente por casualidad, pero no desea que este acuerdo fortuito contamine sus resultados (es decir, llegar a un acuerdo). parece mejor de lo que realmente es). En lugar de medir la proporción general de concordancia (que calculamos anteriormente), el kappa de Cohen mide la proporción de concordancia por encima de la concordancia esperada por casualidad (es decir, concordancia fortuita).

    Tabla de 'Medidas simétricas' para kappa de Cohen.  Muestra Kappa 'Valor', 'Asymp.  Estándar  Error a', 'Aprox.  Tb' y 'Aprox.  Sig.'

    Puedes ver que el kappa de Cohen (κ) es .593. Esta es la proporción de acuerdo por encima del acuerdo casual. El kappa de Cohen (κ) puede variar de -1 a +1. Basado en las pautas de Altman (1999), y adaptado de Landis & Koch (1977), un kappa (κ) de .593 representa una fuerza de acuerdo moderada. Además, dado que p < .001 (es decir, p es menor que .001), nuestro coeficiente kappa (κ) es significativamente diferente de cero desde el punto de vista estadístico.

    Reportando la salida del kappa de Cohen

    Con base en los resultados anteriores, podríamos informar los resultados del estudio de la siguiente manera:

    Se ejecutó el κ de Cohen para determinar si había acuerdo entre el juicio de dos policías sobre si 100 personas en un centro comercial mostraban un comportamiento normal o sospechoso. Hubo un acuerdo moderado entre los juicios de los dos oficiales, κ = .593 (IC del 95 %, .300 a .886), p < .001.

    Notará que el informe kappa de Cohen anterior incluye no solo las estadísticas kappa (κ) y el valor p, sino también el intervalo de confianza del 95 % (IC del 95 %). En nuestra guía kappa de Cohen mejorada, le mostramos cómo calcular estos intervalos de confianza a partir de sus resultados, así como también cómo incorporar la información descriptiva de la Tabulación cruzada tabla en su redacción. También le mostramos cómo redactar los resultados utilizando los estilos Harvard y APA. Puede obtener más información sobre la prueba kappa de Cohen, cómo configurar sus datos en SPSS Statistics y cómo interpretar y escribir sus hallazgos con más detalle en nuestra guía kappa de Cohen mejorada, a la que puede acceder convirtiéndose en miembro de Laerd Statistics .

    Referencias

    Altman, DG (1999). Estadísticas prácticas para la investigación médica. Nueva York, NY: Chapman & Hall/CRC Press.

    Landis, JR y Koch, GG (1977). La medida del acuerdo del observador para datos categóricos. Biometría, 33, 159-174.

    Inicio Sobre nosotros Contáctenos Términos y condiciones Privacidad y cookies © 2018 Lund Research Ltd