QUÉ ES VALORAR, MEDIR, TESTEAR QUÉ ES VALORAR, MEDIR, TESTEAR? – CRITERIOS DE OBJETIVIDAD, VALIDEZ Y CONFIABILIDAD DE LOS TEST ASIGNATURA: EVALUACIÓN DEL RENDIMIENTO DOCENTE: ALEJANDRO GÓMEZ RODAS PROFESIONAL EN CIENCIAS DEL DEPORTE U.T.P ESPECIALISTA EN ACTIVIDAD FÍSICA Y SALUD U.de.A

Definición de términos TEST MEDICION Definición de términos EVALUACION

TEST. MEDICION. Es el instrumento usado para colectar información.  En cualquiera de sus formas, tienen características que se irán desgranando.... MEDICION.  Acto de recabar información objetiva, en general en formato numérico.  Debe ser lo más exacta posible, según fortalezas y debilidades de los tests.

EVALUACION. Proceso de analizar el valor de los datos recogidos. Incluye al testeo y a la medición. Juzgar en forma cualitativa lo presentado cuantitativamente. Básico en la toma de decisiones según objetivos del programa, comportamiento del grupo y de cada sujeto dentro de él.

CARACTERISTICAS DE LOS TESTS. VALIDEZ. Propiedad de medir – estimar lo que pretende. Se corrobora COMPARANDO sus resultados con un TEST PATRON. CONFIABILIDAD. Estabilidad de los resultados. Se corrobora con DOS o más tomas al MISMO GRUPO, UN MISMO EVALUADOR. OBJETIVIDAD. Grado de independencia del evaluador. GRUPO, DIFERENTES EVALUADORES.

TIPOS DE ERROR Error de ejecución. Diferencia entre repetidas ejecuciones del mismo sujeto. Es esperable, siempre que esas diferencias no sean significativas. Error de medición. Producido por el Instrumento de Medición  ¡ EVITAR ! NOTA : Cuando evalúo, me considero parte del instrumento de medición

PARA REDUCIR EL ERROR… … respetar el PROTOCOLO; buscar el original … revisar validez, confiabilidad y objetividad en muestras similares y con N grandes … ¿tiene el test tablas de comparación? … tener en claro fortalezas y debilidades de la prueba (simplicidad de la toma, instrumentos de precisión, error de estimación de la fórmula)

Ejemplo de VALIDEZ Objetivo  encontrar una prueba SIMPLE para ESTIMAR el VO2max de grandes poblaciones. Variable predictora  metros recorridos en 12´. Variable predicha  VO2máx. 1. Los sujetos que más metros recorren, tienen mayor VO2máx. medido. 2. Cuanto más heterogéneo es el grupo en ambas variables, más alta es la correlación.

Uso de la correlación para establecer la VALIDEZ Correlación entre el máximo consumo de oxígeno y el rendimiento en una carrera-caminata de 12 minutos en hombres normales. La correlación es de 0.897, indicando una relación del 80% entre variables. Cooper, K. 1968. Estimación del VO2 (ml/min) en cicloergómetro: VO2 (ml/min) = 2 (kgm/min) + 300 Pendiente ( 2 ml/ min) Intercepción (300 ml)

ESTIMACION DEL COSTO METABOLICO DEL EJERCICIO (VO2) en cinta Caminando Trotando 50 a 100 m/min 80 a 134 m/min ( 3 a 6 km/hora) (4.8 a 8 km/hora y más) VO2 Horiz m/min x 0.1 ml O2/kg/min m/min x 0.2 ml O2/kg/min VO2 Vert % inclin x m/min % inclin x m/min x 1.8 ml O2/kg/min x 0.9 ml O2/kg/min NOTAS: 1– al resultado hay que sumarle el VO2 de reposo (3.5 ml/kg/min) 2- % de inclinación va como decimal. (Ej; 12% = 0.12) 3- para pasar de km/h a m/min multiplicar x 17.

Correlación y CONFIABILIDAD Ejemplo: grupo de 6 adolescentes medidos en Saltar y Alcanzar (cm). Tres tentativas. Cada alumno mantiene el lugar dentro del grupo en cada tentativa. La r =1 !! ¿El rendimiento se mantiene estable entre las tentativas? CONCLUSION: Prueba válida pero NO confiable. Entonces utilizar prueba para diferencias significativas T1 T2 T3 S1 21 23 25 S2 18 22 S3 26 29 30 S4 17 S5 28 S6 24 27 Prom 21,8 23,7 25,5

(r2)  Coeficiente de Determinación: varianza compartida entre ambas variables. NUNCA SERA = 1 (100% de varianza compartida)… …¿Por qué? Porque las variables no se relacionan de a dos sino de a varias… … múltiples variables explican a una y nosotros sólo intentamos identificar a la/s que mejor la explican !!

Concepto de Regresión Lineal Múltiple. La interacción entre más de una variable independiente explica el comportamiento de una dependiente. FORMULA DE LEGER PARA ADULTOS (> 19 AÑOS): VO2max (ml/kg/min) = 6 x VELOC MAX (km/h) - 27,4 FORMULA DE LEGER PARA NIÑOS ENTRE 6 Y 18 AÑOS (ambos sexos): VO2max (ml/kg/min) = 31,025 + (3,238 x V) - (3,248 x E) + (0.1536 x V x E)

Las regresiones múltiples NO SIEMPRE son lineales: Distancia de la prueba 1600m. CARGA CONTINUA.  2 fórmulas de predicción según condición del evaluado: Baja condición (caminando) Rockport  VO2 = 132.6 – (0.17 * PC) – (0.39 * EDAD) + (6.31 * SEXO) – (3.27 * Tiempo) – (0.156 * FC) Mediana condición (trotando) Cureton  VO2 = (-8.41 * Tiempo) + (0.34 * Tiempo2) + (0.21 * EDAD * SEXO)- 0.84 * BMI + 108.4 Donde PC = peso corporal; SEXO = varón 1, mujer 0; FC = frecuencia cardíaca NOTA: El tiempo empleado debe tomarse como minutos y fracción decimal .

 Quienes corren la milla por encima de 12’ 36”; ¿ tienen un VO2 mayor ? ATENCION ! La relación está explicada por una Función Cuadrática Debe usarse otra fórmula para quienes caminan. El grupo de referencia de Cureton eran niños y jóvenes ( 8 hasta 24 años de edad). La fórmula ajusta dentro de los límites encontrados en el grupo. R = 0,74. EEE = 4,8 ml/kg/min

EEE = Error Estandar de Estimación Cuando la correlación es <1 (siempre), la variable dependiente NO PUEDE ser ESTIMADA con TOTAL precisión.  EEE = estadístico usado para cuantificar la precisión de la predicción… Es el grado en el cual los valores predichos difieren de los reales Se comporta como el desvío estandar. (Gráfico de la derecha) Safrit, Wood; Measurement Concepts in Phys. Ed. and Exe. Science

Algunas conclusiones finales… Protocolos claros Validez, Confiabilidad y Objetividad comprobados Gran número de casos y tablas de referencia en poblaciones de similares características a las que vamos a testear Debemos contar con herramientas confiables La práctica de la prueba reduce el error de medición EEE adecuado (menor al 10%)

CÓMO ELEGIR ENTONCES LAS PRUEBAS MÁS APROPIADAS? Para poder elegir las pruebas más apropiadas para la medición de la aptitud física del cliente, es importane poder evaluar la utilidad relativa de las pruebas y sus ecuaciones predictivas. Para ello, se deben formular algunas preguntas:

QUÉ MEDIDA DE REFERENCIA SE USÓ PARA ELABORAR LA ECUACIÓN PREDICTIVA? La medida de referencia utilizada como criterio para un componente específico de la aptitud física se obtiene a través de la medición directa del componente. Las medidas de referencia se usan como patrón de referencia para validar las pruebas de campo y desarrollar las ecuaciones que permitan estimar con precisión la medida de referencia.

QUÉ TAMAÑO TENÍA LA MUESTRA UTILIZADA PARA DESARROLLAR LA ECUACIÓN PREDICTIVA? En general se requieren muestras grandes seleccionadas en forma aleatoria (n = 100 a 400 individuos) para asegurar que los datos sean representativos de la población para la que se creó la ecuación predictiva. Además, las ecuaciones de predicción basadas en muestras grandes tienden a tener pesos de regresión más estables para cada variable predictiva que compone la ecuación.

CUÁL ES LA RELACIÓN ENTRE EL TAMAÑO DE LA MUESTRA Y EL NÚMERO DE VARIABLES PREDICTIVAS EN LA ECUACIÓN? En la regresión múltiple, la correlación entre las medida de referencia del componente de la aptitud física y los factores predictivos en la ecuación está representada por el coeficiente de correlación múltiple (Rmc). Cuanto mayor es el Rmc (hasta un máximo de 1) más intensa es la relación. El tamaño de Rmc aumenta en forma artificial si la ecuación tiene demasiados factores predictivos en relación con el número total de individuos. Las ecuaciones predictivas basadas en muestras pequeñas o con una relación baja entre individuos y factores predictivos (ideal 20 a 40 sujetos por variable predictiva) deben resultar sospechosas y no deben utilizarse

CUÁLES FUERON LOS TAMAÑOS DE Rcm Y EL ERROR ESTÁNDAR DE ESTIMACIÓN PARA LA ECUACIÓN PREDICTIVA? En general, en las pruebas de aptitud física, el Rmc supera el valor de 0,8 lo que significa que por lo menos el 64% (R² = 0,8² x 100) de la variación en la medida de referencia puede deberse a los factores predictivos de la ecuación. Se debe recordar que cuanto mayor es el Rmc, mayor es la cantidad de variación compartida entre la medida de referencia y las variables predictivas. Aunque el coeficiente es importante, cuando se evalúa la utilidad relativa de la ecuación predictiva, es más importante concentrarse en el tamaño del error de predicción (error estándar de medición) porque la magnitud de este último varía con el tamaño de la muestra y la variabilidad de los datos.

REPRESENTACIÓN DEL ERROR ESTÁNDAR DE MEDICIÓN Se debe recordar que el error estándar de medición refleja el grado de desviación con respecto a los datos del individuo (puntuaciones de los participantes) en torno a la línea de ajuste óptimo y en relación con los datos de toda la muestra.

EN QUIÉNES SE PUEDE APLICAR UNA ECUACIÓN PREDICTIVA? Las ecuaciones de predicción pueden ser específicas para la población o generalizadas. Las primeras están destinadas a individuos de un grupo homogéneo específico, por ejemplo, las desarrolladas para el pliegue cutáneo de niños y niñas prepúberes. (Slaughter y cols, 1988) Es probable que las ecuaciones específicas para la población sobreestimen o subestimen en forma sistemática el componente de la aptitud física si se aplican en sujetos que no pertenecen a este subgrupo. Las ecuaciones generalizadas se pueden aplicar a sujetos con características físicas muy diversas. Estas ecuaciones se desarrollan con muestras heterogéneas incluyendo variables predictivas con espectro amplio de sexo y edad. Como ejemplo tenemos la prueba de Rockport

LA ECUACIÓN PREDICTIVA SE VALIDÓ EN FORMA SOBRE OTRA MUESTRA DE LA POBLACIÓN? Una ecuación se debe evaluar en otras muestras de la población antes de determinar su validez o su precisión predictiva. La prueba de Rockport evaluó originalmente a mujeres y hombres entre 20 y 69 años (Kline y cols, 1987). Posteriormente, otros investigadores validaron la ecuación en forma cruzada en mujeres de 65 años o mayores (Fenstermaker, Plowman y Looney, 1992). En general, no se deben usar ecuaciones predictivas que no se validaron en forma cruzada en la muestra del estudio original o en otras muestras de otros estudios.

EN RESUMEN… Se debe comprobar el uso de un método aceptable para obtener las medidas de referencia del componente de la aptitud física. Se debe comprobar el uso de una muestra grande (n = 100-400) y entre 20 y 40 individuos por variable predictiva para desarrollar la ecuación. Los tamaños de los coeficientes de correlación múltiple y de validez son superiores a 0,8 Los errores de medición para el grupo son aceptables Se debe comprobar la descripción demográfica (ej: edad, sexo, etnia, estado físico) de las muestras de validación y validación cruzada