Estudio técnico del instrumento Dificultad Discriminación Confiabilidad Validez

Sólo aplicable a instrumentos que miden conocimiento Estudio técnico del instrumento Dificultad Determina el grado de dificultad de un ítem y se define como la proporción de sujetos que responden un ítem con respecto al total de sujetos que contestaron la prueba (Instrumento) Exige dos condiciones La codificación o valoración de alternativas de respuestas deben ser dicotómicas Sólo aplicable a instrumentos que miden conocimiento

Mide adecuadamente el constructo Se incluye en el instrumento Estudio técnico del instrumento Es indicador de confiabilidad y validez Discriminación Se refiere al poder de un reactivo para separar a aquellos sujetos que tienen dominio del rasgo que mide el ítem en comparación con aquellos que no tienen tal dominio. Si existe diferencia significativa entre las calificaciones de ambos grupos El ítem discrimina Mide adecuadamente el constructo Debe estar al menos en una escala ordinal Se incluye en el instrumento

Estudio técnico del instrumento Discriminación Item Varianza T de Student Sig Tipo (1) Sig. (bilateral) Contraste Hipótesis nula (2) Conclusión (3) Decisión sobre el ítem (4) 1 0.033 ≠ 0.094 ACEPTA NO DISCRIMINA EXCLUYE 2 0.016 0.010 RECHAZA DISCRIMINA INCLUYE 3 0.065 = 0.189 4 0.125 0.050 5 0.021 6 0.001 7 0.048 8 0.093 9 0.451 10 11 12

Reaplicación de Pruebas (test-retest) Pruebas de formas equivalentes Estudio técnico del instrumento Confiabilidad Confiabilidad: (estabilidad, predictibilidad) estabilidad con que el instrumento mide el rasgo que pretende medir. ¿con cuánta exactitud la muestra de ítemes o tareas representa al universo de donde fueron seleccionados? Medida de consistencia y uniformidad que permite determinar si las puntuaciones generadas por la aplicación del instrumento son estables en el tiempo y lugares distintos Reaplicación de Pruebas (test-retest) Pruebas de formas equivalentes Consistencia interna

Estudio técnico del instrumento Reaplicación de pruebas Test-Retest Consiste en aplicar el instrumento a los mismos sujetos en dos momentos diferentes, es recomendable que el intervalo de tiempo no sea muy prolongado y que los sujetos reciban algún estímulo Éste método genera una medida de estabilidad ya que garantiza que los resultados sean estables en el tiempo Procedimiento: Se aplica el instrumento en 2 momentos a los mismos sujeto. Se correlacionan los puntajes de ambas mediciones a través del Coeficiente de Correlación Si la variable está en una escala de Intervalo o razón se aplica Pearson y si es escala ordinal se aplica Spearman.

Estudio técnico del instrumento Pruebas de formas equivalentes Éste método consiste en elaborar dos versiones del mismo instrumento que miden la misma variable y se aplican a un mismo grupo de sujetos El mismo genera medidas de equivalencia, ya que garantiza obtención de resultados confiables al tener dos versiones del instrumento Procedimiento: Elaborar dos versiones equivalentes del instrumento. Correlacionar los puntajes de ambas versiones de la prueba. Si la variable está en una escala de Intervalo o razón se aplica Pearson y si es escala ordinal se aplica Spearman.

Estudio técnico del instrumento Consistencia interna Éste método tiene como propósito determinar la homogeneidad en las respuestas de los sujetos Pruebas afectivas Actitud Test de personalidad Motivación Se acepta el valor si la confiabilidad=Muy alta Pruebas que miden habilidades Aprovechamiento Aptitud Inteligencia Nivel de conocimiento Se acepta el valor si la confiabilidad=Alta La confiabilidad está en relación directa con la extensión del instrumento: n<10 aumenta el error de medición n>30 se incrementa la confiabilidad

Estudio técnico del instrumento Validez Determina si un instrumento mide exactamente lo que se quiere medir Mientras la validez mide exactamente lo que se quiere medir, la confiabilidad mide la estabilidad, equivalencia y homogeneidad de las medidas La confiabilidad analiza fundamentalmente el comportamiento de los sujetos al responder un instrumento, la validez centra su atención en determinar si el instrumento mide exactamente el constructo que se desea medir Un instrumento puede ser confiable pero no válido; pero todo instrumento válido es confiable. Lo que indica que la confiabilidad es necesaria en un instrumento; pero no suficiente

Validez 12 VALIDEZ DE CONSTRUCTO TIPOS DE VALIDEZ VALIDEZ DE CONTENIDO ¿Hasta dónde el instrumento mide realmente un determinado rasgo latente o una característica de las personas y con cuanta eficiencia lo hace? VALIDEZ DE CONSTRUCTO TIPOS DE VALIDEZ ¿Hasta dónde los ítemes del instrumento son representativos del dominio o universo de contenido de la propiedad que se desea medir? VALIDEZ DE CONTENIDO Juicio de Expertos Validez ¿Hasta dónde podemos anticipar el desempeño futuro en una actividad dad, a partir de su ejecución actual en dicho instrumento? VALIDEZ DE CRITERIO O PREDICTIVA

Estudio técnico Validez de Contenido Determina la representatividad de los ítemes en cuanto al universo en estudio Para determinar la validez de contenido, se requiere definir el universo de contenido (operacionalización de la variable o constructo en estudio)

2. Validez de Criterio Determina la relación existente entre las puntuaciones de un instrumento y un criterio ¿Qué es un Criterio?: “...es una medida externa, independiente al instrumento en evaluación, con el cual se supone que éste está correlacionado y es la característica que el instrumento pretende medir...”. (Jacqueline Hurtado de Barrera)

Clases de validez de Criterio Validez predictiva Cuando el criterio está en tiempo futuro Ejemplo: Cuando se utiliza los resultados de una prueba de aptitud académica (instrumento en evaluación) para predecir el desempeño académico (criterio) del alumno en un curso

Validez Concurrente Ejemplo: Cuando las puntuaciones del instrumento en evaluación se obtienen más o menos al mismo tiempo que las medidas del criterio Ejemplo: Cuando se utiliza los resultados de una prueba de habilidades numéricas y verbales (instrumento en evaluación) para determinar el rendimiento académico (criterio)

Definición de validez de constructo: Definición de constructo Se está en presencia de un constructo cuando la variable a investigar no se puede medir directamente; pero muchas de las conductas que se consideran como aspecto de ella son descriptibles y medibles Definición de validez de constructo: Grado en que un instrumento es una medida de un constructo en particular

Clases de validez de constructo 1.Validez Convergente Se determina correlacionando los puntajes del instrumento que mide el constructo en estudio con los puntajes de otro instrumento que mide el mismo constructo u otro con el cual debería correlacionarse positivamente La correlación para que exista validez de constructo debe ser alta o muy alta y la aplicación de ambos instrumentos debe ser a la misma muestra de sujetos

Validez Discriminante Clases de validez de constructo Validez Discriminante Se determina correlacionando las puntuaciones del instrumento que mide el constructo en estudio con las puntuaciones de otro instrumento que mide otro constructo o variables, con la cual el constructo en estudio no debería correlacionarse

Gracias por la atención