(documento de trabajo y formación del Cear) UNIVERSIDAD FRANCISCO DE PAULA SANTANDER comité ejecutivo y asesor para la autoevaluación, registro calificado y acreditación de alta calidad CEAR ELEMENTOS CONCEPTUALES Y METODOLÓGICOS PARAEL REDISEÑO DE INSTRUMENTOS DE AUTOEVALUACIÓN CON FINES DE REGISTRO CALIFICADO. GUÍA 2013 CNA. (documento de trabajo y formación del Cear) San José de Cúcuta, Febrero del 2013

CONSIDERACIONES REORDENAMIENTO Y NUEVOS LINEAMIENTOS CNA PARA REGISTRO CALIFICADO DE PROGRAMAS. GUÍA 2012. NECESIDAD DE DISEÑAR INDICADORES A LOS ASPECTOS A NUEVOS FACTORES Y CARACTERÍSTICAS. REDISEÑO DE INSTRUMENTOS PARA AUTOEVALUACIÓN CON FINES DE REGISTRO CALIFICADO Y ACREDITACIÓN DE ALTA CALIDAD.

ETAPAS-METAS-PRODUCTOS ETAPA I: Mapear modificaciones lineamientos CNA 2012. META: Establecer las diferencias, carencias y/o semejanzas entre las guías 2006 y 2012 ETAPA II: Diseño de indicadores. META: Elaborar el número de indicadores necesarios para evaluar los aspectos de la guía 2012 ETAPA III: Rediseño de Instrumentos Meta: Elaboración de los instrumentos para cada audiencia comprometida en el proceso de autoevaluación PRODUCTO 1: Documento comparativo de los aspectos/indicadores a evaluar de las guías 2006-2012 PRODUCTO 2: Documento con todos los Indicadores de la guía 2012 PRODUCTO 3: Instrumentos debidamente validados con manual de aplicación .

¿CÓMO DISEÑAR INDICADORES? “Un indicador es una expresión cualitativa o cuantitativa observable, que permite describir características, comportamientos o fenómenos de la realidad a través de la evolución de una variable o el establecimiento de una relación entre variables, la que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar el desempeño y su evolución en el tiempo”1. 1. DANE (sf). Guía para diseño, construcción e interpretación de indicadores.

Ejemplos: Documentos institucionales en que se expresa la misión de la institución Expresión cualitativa Observable Descripción de la característica Porcentaje de directivos, profesores, personal administrativo, estudiantes y egresados que entienden el sentido de la misión y la comparten. Expresión cuantitativa observable Descripción de la característica Criterios que contempla el proyecto institucional para la toma de decisiones en materia de administración de recursos y gestión académica del programa

Los indicadores son un MEDIO no un FIN Un indicador debe cumplir con tres características básicas2: Simplificación: la realidad en la que se actúa es multidimensional, un indicador puede considerar alguna de tales dimensiones (económica, social, cultural, política, etc.), pero no puede abarcarlas todas. Medición: permite comparar la situación actual de una dimensión de estudio en el tiempo o respecto a patrones establecidos. Comunicación: todo indicador debe transmitir información acerca de un tema en particular para la toma de decisiones. 3. Íbid.

EJEMPLOS: Existencia y aplicación de políticas institucionales para orientar las acciones y decisiones del programa académico en las funciones sustantivas y áreas estratégicas de la institución. Medición Comunica Realidad Grado de correspondencia entre el proyecto educativo del programa y el proyecto institucional

¿QUÉ ES UNA ESCALA DE EVALUACIÓN? Según Mehrens y Lehmann3, son aquellas que permiten a quien la utilice, indicar la condición o calidad de lo que se evalúa. Brinda procedimientos sistemáticos para conseguir, registrar y reportar los juicios del observador. Las escalas de evaluación son de máxima utilidad en la evaluación de procedimientos, productos y el desarrollo personal y social. 3. Mehrens,, A. W. y Lehmann, I. J. (1982) Medición y Evaluación en la educación y en la psicología.

ESCALAS DE EVALUACIÓN ESCALA ALCANCE Como nivel de Medición Escalas sociométricas Escala de medición de actitudes y opiniones Escalas nominales o de clasificación; escalas ordinales o de orden jerárquico, escala de intervalo o de distancias iguales. Designan ciertos instrumentos de medida propios de las ciencias sociales, utilizados para observar y medir características muy diversas de los fenómenos sociales. Representan continuos bipolares y su ítems tiene poder discriminante.

DIFERENCIA ENTRE ACTITUD Y OPINIÓN ACTITUD4 “…predisposición a actuar, adquirida en el ambiente en que se vive y derivada de experiencias personales y de factores especiales, veces muy complejos” “…disposición psicológica que incita al individuo a reaccionar de una manera característica frente a determinadas personas, objetos o situaciones”. OPINIÓN “Idea o juicio que alguien hace sobre una persona, un grupo, una situación o un problema”. “…la opinión es una toma de posición consciente, expresada en forma verbal en relación con creencias, valores, actitudes, objetos, situaciones, o personas” Predomina lo cognoscitivo sobre lo afectivo. 3. Ander-Egg, E. (2003). Métodos y técnicas de investigación IV. Técnicas para la recogida de datos e información

EJEMPLOS Sobre el machismo: El marido decide sobre la cantidad de dinero de la que pueda disponer la mujer. El cuidado de los niños corresponde fundamentalmente a las mujeres. Opciones de respuesta: Apruebo totalmente Apruebo en ciertos aspectos Estoy indeciso Desapruebo en ciertos aspectos Desapruebo totalmente Sobre el machismo: ¿Aprueba que el marido decida sobre la cantidad de dinero que debe disponer la mujer? ¿Considera que el cuidado de los niños corresponde fundamentalmente a las mujeres? Opciones de respuesta: Apruebo totalmente Apruebo en ciertos aspectos Estoy indeciso Desapruebo en ciertos aspectos Desapruebo totalmente

¿CÓMO SE ELABORAN PREGUNTAS PARA UNA ESCALA DE EVALUACIÓN?

CONFIABILIDAD4 (Estabilidad, fiabilidad, consistencia, reproductibilidad, predictibilidad y falta de distorsión) La confiabilidad se enfoca de tres maneras: Si se mide el mismo conjunto de objetos una y otra vez, con el mismo instrumento de medición o uno comparable, ¿se obtendrán iguales o similares resultados? ¿Las medidas obtenidas a partir de un instrumento de medición son las medidas “verdaderas” de la propiedad que se mide? ¿Qué tanto error de medición existe en un instrumento de medición? 4. kerlinger, F. N. y Lee, H. B.(2001). Investigación del comportamiento. Métodos de investigación en ciencias sociales.

TEORÍA DE LA CONFIABILIDAD5 Cualquier conjunto de medidas posee una varianza total; es decir, poseen una media, una varianza y una desviación estándar. La confiabilidad trabaja con la varianza; existen varianzas debida a múltiples causas. La varianza incluye: una varianza sistemática y una de error. Cada persona posee una puntuación obtenida (Xt). Esta puntuación tiene dos componentes: un componente “verdadero” (X∞) y componente de error (Xe). 5. Basado en la Teoría Clásica de las Pruebas

La puntuación verdadera puede incluir propiedades diferente de la propiedad que se desea medir. La medición de esta propiedad corresponde a la Validez. El otro componente es la puntuación del error (Xe); no significa que se haya cometido un error, sino que la puntuación es algún incremento o decremento que resulta de varios de los factores responsables de la incapacidad para medir la puntuación verdadera. Por lo tanto, la diferencia entre la puntuación observada y la real es el error. La ecuación básica simple de la teoría es: Xt= X∞+Xe X∞= Xt+Xe

¿CÓMO CALCULAR LA CONFIABILIDAD DE LAS MEDICIONES? Confiabilidad TEST-RETEST. Sirve para medir la estabilidad a través del tiempo Formas equivalentes o paralelas del instrumento de medición. Esto implica crear dos pruebas equivalente, pero no idénticas, con ítems similares. Cada persona estaría sujeta a mediciones por medio de los dos instrumentos. Habría dos puntuaciones x persona. De Consistencia Interna. Hay varios métodos.

VALIDEZ La pregunta que sintetiza la validez es: ¿estamos midiendo lo que creemos estamos midiendo? Una prueba o escala es válida de acuerdo con el propósito científico o práctico de quien la utiliza.

TIPO DE VALIDEZ Validez de Contenido. ¿La sustancia o contenido de esta medida es representativa del universo de contenido de la propiedad que se mide? La validez de contenido consiste esencialmente de juicio. Solo o con otros, el investigador juzga la representatividad de los ítems. 2. Validez de Criterio. Se logra al comparar las puntuaciones de una prueba o escala con una o más variables externas o criterios, que se sabe o se considera que miden el atributo que se estudia. Hay dos: Validez Predictiva y Validez Concurrente.