APLICACIONES: TAI en Evaluación de Programas

¿Qué es Evaluación de Programas de Intervención? Investigación sistemática, mediante métodos científicos, de distintos elementos del programa de intervención para tomar decisiones sobre él.

Fases generales en programación Tipos de evaluación Necesidades de “intervención” Evaluación de necesidades Objetivos de intervención Evaluación de objetivos Diseño del programa Evaluación del diseño Implementación Evaluación de la implementación / proceso intervención Resultados Evaluación de resultados

Evaluación de la intervención

TAI y Evaluación de programas Circunstancias y contexto en el que se realiza la evaluación de programas: INESTABLE Imposibilidad de diseño de evaluación estándar Necesidad de crear diseños que se adapten a las características del programa

TAI y Evaluación de programas El uso de los TAI presenta una serie de ventajas con respecto a las dificultades prácticas inherentes a la evaluación de programas de intervención

Ventajas de la utilización de TAIs en Evaluación de programas Facilidad en la aplicación Generación de informes automatizados Posibilidad de aplicación on-line Rapidez de corrección Mayor fiabilidad de la evaluación Menor tiempo de aplicación Protección de la prueba Mayor validez de la evaluación al basarse en los criterios de la metodología científica Posible utilización en la evaluación de la mayoría de las fases de programación

Evaluación como intervención La evaluación de la formación en el Centro de Formación del P.A.S de la Universidad de Sevilla Un Ejemplo aplicado

Continua de la Universidad de Sevilla. OBJETIVO Describir el proceso evaluativo desarrollado en una Unidad de Evaluación de un Centro de Formación Continua de la Universidad de Sevilla.

¿Cómo se podrían aplicar TAIs en nuestro ejemplo? En la EVALUACIÓN DE LA IMPLEMENTACIÓN: Objetivo: Valorar la discrepancia, y sus causas, entre lo implementado y lo programado. Metodología: Cuestionarios (TAI) durante la implementación del programa.

TAI y Evaluación de la implementación Se elaborarían TAIs diferentes para: Objetivos el curso Contenidos del curso Los formadores Los materiales y/o recursos

TAIs y Evaluación de la Implementación Los bancos de ítems se elaborarían según el contenido del programa para llevar a cabo la acción formativa. Se utilizarían escalas tipo Likert 0=Nunca 1=A veces 2=Casi siempre 3=Siempre

TAIs y Evaluación de la Implementación Los ítems se adaptarían a los usuarios según el “nivel” o la medida en que creen que se ha implementado o no lo programado. Se irán presentando ítems que contengan desde los aspectos más prioritarios que deberían implementarse hasta aspectos más secundarios.

En la EVALUACIÓN DE RESULTADOS Objetivos: Evaluar la reacción de los participantes. Evaluar el grado de aprendizaje. Metodología: Cuestionario de satisfacción (TAI) Cuestionario para la evaluación de los contenidos adquiridos (TAI)

Cuestionario de Satisfacción OBJETIVO CONTENIDO 1 A su juicio se han alcanzado los objetivos previstos 1 2 3 4 5 2 Los temas se han tratado con la profundidad que permitía la duración del curso 3 La duración del curso se ha adecuado a los objetivos y contenidos METODOLOGÍA AMBIENTE 4 La metodología se ha adecuado a los objetivos y contenidos 5 La metodología ha permitido la participación activa de los asistentes 6 Esta acción formativa me ha facilitado compartir experiencias profesionales con otros compañeros 7 La acción formativa ha sido realista y práctica 8 La materiales didácticos entregados han sido de calidad 9 Los recursos utilizados han sido adecuados para facilitar el proceso formativo

Propuesta de acción formativa Utilidad para tu puesto de trabajo VALOR GLOBAL 10 La acción formativa recibida es útil para mi puesto de trabajo 1 2 3 4 5 11 La acción formativa recibida es útil para mi formación personal 12 La acción formativa recibida merece una valoración óptima COMENTARIOS SUGERENCIAS 13 Señala al menos un aspecto para mejorar la calidad de esta acción formativa: 1.- 2.- 14 Plantea otras acciones formativas en las que le gustaría participar para mejorar el desarrollo de tu trabajo: Propuesta de acción formativa Nivel Bajo/Medio/Alto Modalidad Presencial/Distancia Destinatarios Utilidad para tu puesto de trabajo Objetivos Contenidos

Cuestionario de Satisfacción Se realizaría un TAI que evalúe los mismos aspectos que el original: Objetivo-Contenido Metodología-Ambiente Utilidad-Valor Global La escala utilizada sería la misma (Likert, de 1 a 5)

Cuestionario de Satisfacción Aumentaría el número de ítems (banco de ítems), al ser un test adaptativo. Se adaptaría a los usuarios en la medida en que estuviesen más (5) o menos satisfechos (1). Dentro de cada aspecto, ítems desde “satisfacción prioritaria” hasta “satisfacción secundaria”.

Cuestionario de Evaluación de Contenidos Elaboración de un TAI que evalúe los contenidos adquiridos durante la acción formativa: Ítems de baja, media y alta dificultad Pretest antes de ser usuario del programa Postest tras haber participado en la acción formativa. Tras aplicar el mismo TAI en las dos ocasiones, comparación de resultados.

CONCLUSIONES VENTAJAS del uso de los TAIs en Evaluación de Programas INCONVENIENTES: Elaboración del banco de ítems: 150 aproximadamente Probados en muestras de al menos 500 personas En evaluación de programas cumplir ambas condiciones supone una enorme dificultad práctica

CONCLUSIONES Los ítems contienen aspectos específicos del programa en cuestión la muestra disponible casi siempre van a ser los usuarios del programa imposible probar los ítems en otros sujetos si es la primera vez que se aplica el programa.