Universidad Autónoma de Baja California Instituto de Investigación y Desarrollo Educativo     Aspectos psicométricos básicos de la evaluación del aprendizaje.

Presentación del tema: "Universidad Autónoma de Baja California Instituto de Investigación y Desarrollo Educativo     Aspectos psicométricos básicos de la evaluación del aprendizaje."— Transcripción de la presentación:

1 Universidad Autónoma de Baja California Instituto de Investigación y Desarrollo Educativo     Aspectos psicométricos básicos de la evaluación del aprendizaje   Resumen del libro Popham, J. (1990). Modern Educational Measurement. A Practitioner’s Perspective. MA. Allyn and Bacon Luís Ángel Contreras Niño   Febrero de 2003

2

3

4

5

6

7

8 Dos distinciones basicas entre pruebas criteriales y normativas
Una segunda distinción se refiere a la interpretación de los puntajes brutos obtenidos en la prueba En un test normativo se elaboran tablas normativas de tal manera que se pueda encontrar con facilidad el equivalente percentil de cada puntaje bruto Ejemplo: Juan contestó bien 37 ítems de 60. En la tabla ese puntaje es equivalente al rango percentil 63. Por lo tanto, el puntaje de Juan es igual o mejor que la ejecución del 63% de los examinados del grupo normativo Así, la interpretación es completamente relativa Dos distinciones basicas entre pruebas criteriales y normativas

9 Dos distinciones basicas entre pruebas criteriales y normativas
En un test criterial, Juan contestó bien 20 preguntas de 25. Dado que queremos saber qué tan bien logró el dominio conductual definido por el test, reportamos que obtuvo un puntaje de 80% de respuestas correctas En este caso, la interpretación es absoluta pues describe el estatus del examinado en relación con el dominio total Dos distinciones basicas entre pruebas criteriales y normativas

10

11

12 Relación entre la estrategia de medición y la misión del test
Escenario con requisitos de habilidad. Aquí no se requiere saber quién es el mejor o el peor, sino quién está calificado; se quiere reflejar el dominio con precisión. Por lo tanto se requiere un test criterial. Un test normativo no sería útil en este caso: ¿te dejarías operar por un cirujano que recibió su título porque obtuvo el percentil 75 de entre una clase de incompetentes? En cambio un test criterial se orienta a detectar a los candidatos que despliegan las habilidades que son requisito para tal ejercicio profesional; es decir, que reflejan el dominio del campo de conocimientos que mide el test Relación entre la estrategia de medición y la misión del test

13

14

15

16

17 1. Descripción de la conducta medida
Al evaluar, se pretende determinar el nivel de un examinado respecto a un foco particular (no podemos medir todo en una sola ocasión) Por ello, el test debe incluir una descripción de las habilidades, aptitudes y actitudes del examinado que se pretende medir La descripción puede ser breve (enunciado de un objetivo conductual) o muy detallada (especificaciones de ítems) Evaluando la calidad de un test

18 2. Número de Ítems por conducta medida
¿Cuántos ítems debe incluir la prueba? Un factor clave a considerar es la importancia de la decisión involucrada. Si se quiere hacer una estimación general de la ejecución del examinado, en general se requieren pocos ítems. Si se quiere diagnosticar habilidades particulares, en conjunto se necesitan bastantes reactivos Evaluando la calidad de un test 2. Número de Ítems por conducta medida

19 2. Número de Ítems por conducta medida
Si el examen tiene alto impacto (las consecuencias de su aplicación afectarán de manera importante la vida de los examinados, profesores o directivos escolares), usualmente serán necesarios muchos más reactivos que si se trata de un examen parcial de un curso. Como regla práctica, podría decirse que deberían emplearse 10 ítems por conducta medida cuando se toma una decisión educativa razonablemente importante. Tal número podría elevarse a 20 ítems o más si el examen es de gran impacto y disminuir a unos 5 reactivos cuando el impacto sea menor. Evaluando la calidad de un test 2. Número de Ítems por conducta medida

20 Evaluando la calidad de un test
Se refiere a la amplitud del atributo que mide el test. Puede ser muy restringido (objetivo conductual, lo cual resulta fácil de enseñar pero puede resultar muy puntual para ser útil: objetivitis) o ser muy amplio (Ej. el conocimiento, lo cual resulta difícil de definir y medir) A mayor espectro de contenido a evaluar, menos precisa la descripción conductual y será necesario un mayor número de ítems La determinación del alcance de la medida es una operación de juicios Evaluando la calidad de un test 3. Alcance de la medida

21 Evaluando la calidad de un test
Se refiere a la consistencia con la que una prueba mide lo que se supone que mide La consistencia de la medida puede ser en el tiempo, en cuyo caso nos referimos a ella como el índice de estabilidad . Aquí, los alumnos son examinados tras un período de tiempo para ver qué tan comparables son los puntajes individuales en las dos ocasiones (operación denominada test-retest; si el coeficiente de correlación es alto, digamos 0.80 ó 0.90, podemos tener la seguridad de que los examinados obtienen puntajes comparables en el test aún cuando se administre en tiempos diferentes) Evaluando la calidad de un test 4. Confiabilidad

22 Evaluando la calidad de un test
4. Confiabilidad Dado el alto costo que implica y otras dificultades asociadas, pocas pruebas realizan estudios de estabilidad. En algunos casos aplican retests a muestras de estudiantes Tanto en los tests normativos como es los criteriales la estabilidad de la prueba aumenta a medida que se incrementa el número de ítems

23

24 Evaluando la calidad de un test
Para crear retos de una dificultad equivalente, se puede emplear un sistema de puntajes escalares Se trata de un procedimiento estadístico, post facto, de igualación de formas de examen. En un sistema escalar de 500 a 1000, un alumno necesita para pasar 800 puntos en un examen de 75 ítems. En una versión muy difícil del test, un puntaje de 55 ítems correctos puede ser igual al puntaje escalar de 800. En una forma muy fácil, se necesita un puntaje de 60 ítems correctos para lograr un puntaje escalar de 800 y lograr pasar. Evaluando la calidad de un test 4. Confiabilidad

25 Evaluando la calidad de un test
Otra forma de confiabilidad es la consistencia interna, misma que indica la consistencia individual de los ítems del test; Sirve para determinar la medida en la que los ítems individuales están funcionando más o menos de la misma manera; es decir, si son homogéneos Una técnica consiste en dividir la prueba en dos partes iguales, digamos reactivos pares y nones. Los dos subtests se correlacionan. El coeficiente de correlación resultante es una estimación del grado en que las mitades del test están cumpliendo su función de manera consistente Evaluando la calidad de un test 4. Confiabilidad

26

27

28 Evaluando la calidad de un test
Evidencia de validez relacionada con el contenido Demuestra el grado en el que la muestra de ítems del test es representativa de un universo definido o dominio de contenido (¿el test cubre el contenido que se supone que cubre? La clave para asegurarla es el juicio humano: Expertos en contenido definen el universo de contenido que el test representa (muestra) Después, expertos independientes juzgan la representatividad del contenido Evaluando la calidad de un test 5. Validez

29

30

31 Evaluando la calidad de un test
Evidencia de validez relacionada con el criterio Demuestra en qué medida los puntajes en el test de un examinado nos permiten inferir la ejecución que tendrá en una variable criterio (por ejemplo, las calificaciones que obtendrá en la universidad-- el criterio ) Existen dos tipo de evidencias: predictiva y concurrente Los estudios de validez predictiva requieren que ocurra un intervalo de tiempo considerable (por ejemplo, para correlacionar los resultados del examen de admisión y el promedio de calificaciones obtenidas por el examinado durante el primer semestre de la carrera, es necesario esperar 6 u 8 meses al menos) 5. Validez Evaluando la calidad de un test

32 Evaluando la calidad de un test
En los estudios de validez concurrente tal intervalo de tiempo no ocurre Por ejemplo, aplicamos el examen de admisión a la universidad a los alumnos que recién terminaron el primer semestre de la carrera, el mismo día en que se da a conocer el promedio de calificaciones que obtuvieron Aunque el test fue diseñado para egresados del bachillerato y no para estudiantes universitarios, los coeficientes de correlación resultantes entre los puntajes en el test de los examinados y su promedio de calificaciones en el primer semestre, nos proporcionan alguna evidencia relacionada con el criterio Se denomina concurrente por que ambas medidas ocurren aproximadamente en el mismo tiempo 5. Validez Evaluando la calidad de un test

33

34

35

36

37

38

39

40

41 Evaluando la calidad de un test
Una validación ideal de un test incluye acumular evidencias de distintos tipos, incluidas las tres categorías tradicionales antes descritas La evidencia de validez (junto con la confiabilidad) es el indicador más importante de la calidad de un test La confiabilidad es una condición necesaria para la validez de la prueba, pero no es una condición suficiente, como hemos visto 5. Validez Evaluando la calidad de un test

42

43 Evaluando la calidad de un test
Actualmente resultan particularmente importantes las serias desigualdades que puede ocasionar el uso inadecuado de los tests Los ítems del test pueden ofender o penalizar a un examinado con antecedentes socioeconómicos, culturales, de género u otros, que los pongan en desventaja respecto a otros examinados Existen dos aproximaciones para detectar problemas de sesgo: basadas en juicios y empíricas Evaluando la calidad de un test 7. Ausencia de sesgo

44 Evaluando la calidad de un test
Esencialmente, las técnicas de juicios para detectar sesgo en la prueba se basan en paneles formados con individuos similares a los examinados que pueden ser sesgados por los ítems, a quienes se les pide buscar que las preguntas: No ofendan a cierto grupo (que los retrate de manera esterotipada) No los penalice injustamente (que los examinados tengan una ejecución más deficiente aún cuando posean la misma habilidad que se está midiendo) Evaluando la calidad de un test 7. Ausencia de sesgo

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59 Nociones de estadística
¿Los examinados que obtienen puntajes altos en una prueba de selección tienden a lograr buenas calificaciones cuando ingresan a la escuela que los selecciona? Aquí se trata de determinar en que medida están relacionadas dos variables La medida para determinarlo es un coeficiente de correlación. El más común es el de Pearson, mismo que establece que la correlación r , es igual a la raíz cuadrada del cociente de la sumatoria de los productos cruzados de las desviaciones, entre el producto de las dos sumatorias de las desviaciones cuadradas, correspondientes a las variables relacionadas Nociones de estadística Indicadores de relación

60

61

62

63

64 Especificar lo que el test debe medir
En este contexto, lo que se requiere primero es tener una buena idea del atributo que se desea medir Teniendo clara esa idea, se deben revisar los posibles esquemas evaluativos para detectar los que satisfacen mejor las necesidades,sin apresurar la decisión La siguiente tarea es crear un conjunto de especificaciónes que normen tanto la generación del test, como de sus ítems Planeación de la prueba Especificar lo que el test debe medir

65

66

67 Desde luego es posible añadir otras dimensiones
adicionales al contenido y la conducta, a fin de balancear los ítems en aspectos tales como el sexo, el tipo de ítem y otros que se consideren relevantes Contenido Comprensión Aplicación Tolal Tópico 1 12 8 20 Subtópico 1.1 7 3 10 Subtópico 1.2 5 Tópico 2 4 Subtópico 2.1 2 Subtópico 2.2

68 Especificaciones para los tests criteriales
Como ya se dijo, en el caso de los test criteriales las especificaciones son bastante detalladas. Se requiere especificar lo que el examinado es capaz de hacer en relación a un dominio de conducta determinado Si el test criterial medirá más de un dominio, se deberá crear un conjunto de especificaciones por cada dominio evaluado. El procedimiento para la especificación de ítems es el siguiente: Planeación de la prueba Especificaciones para los tests criteriales

69 Planeación de la prueba
Descripción general de la conducta a evaluar Diseñar un ítem muestra que refleje las dos clases de atributos siguientes: Delimitar, mediante afirmaciones, los atributos de los estímulos que serán presentados a los examinados Delimitar, mediante afirmaciones, los atributos de la respuesta que el examinado selecciona o explicar los estándares que servirán para juzgar las respuestas construidas Especificación adicional, mediante anexos, de contenidos elegibles u otros aspectos relevantes para los estímulos y respuestas involucrados Planeación de la prueba Especificaciones para los tests criteriales

70 Especificaciones para los tests
Las especificaciones de ítems tienen dos propósitos: Comunicar a los usuarios de los resultados del test qué es lo que el ítem mide, a fin de que se aclare el significado de las calificaciones para propósitos instruccionales y para evaluar la efectividad de los programas Comunicar a los elaboradores de ítems detalles que les permitan generar ítems efectivos Cabe señalar que las especificaciones de reactivos deben ser elaboradas antes de redactar los ítems Planeación de la prueba Especificaciones para los tests

71 Elaboración de reactivos
Todos los tipos de ítems solicitan al examinado seleccionar una respuesta o que construya una respuesta Los principales tipos de ítem de respuesta seleccionada son los de respuesta alterna, opción múltiple y relación de columnas construida son los de respuesta breve y los de ensayo La escritura de ítems enfrenta cinco dificultades generales: Elaboración de reactivos Elaboración de Ítems

72 Elaboración de reactivos
Instrucciones confusas (exigen mucha atención e intuición al examinado; lo mejor: elaborarlas y probarlas antes) Afirmaciones ambiguas (el examinado puede tener incorrecta la respuesta aún cuando sabe. Ejemplo: al referir, aclarar el referente) Pistas no intencionales (se dan pistas al examinado que no sabe, de modo que acierta la respuesta correcta) Sintaxis compleja (falta de unidad y uso de demasiadas cláusulas, lo que dificulta la comprensión: emplear menos los "el que", "el cual", "quien") Vocabulario difícil (uso de terminología polisilábica e hipersofisticada que dificulta la comprensión. Redactar simple) Elaboración de reactivos Elaboración de Ítems

73 Elaboración de reactivos
Proporciona dos respuestas y pide al examinado elegir una (si-no, faso-verdadero, etc.) Su uso más común es para identificar la corrección de afirmaciones factuales y definiciones Su uso más importante es para observar en qué medida el estudiante tiene dominio de un área, indicado por su éxito al juzgar la verdad o falsedad de proposiciones relacionadas con tal área Ventaja: cubre bien el contenido Desventaja: resulta fácil de adivinar Recomendación: tratar de no dar pistas Elaboración de reactivos Ítems de respuesta alterna

74 Ítems de relación de columnas
Solicita al examinado que haga corresponder correctamente dos listas, una de premisas y otra de respuestas, que están relacionadas de alguna manera (lógica, cronológica, teórica, etc.) Ventaja: su forma compacta permite un buen muestreo de contenido en poco espacio Desventaja: se restringe a asociaciones Recomendación: hacer las listas homogéneas en contenido, cortas y desiguales en número Elaboración de reactivos Ítems de relación de columnas

75 Ítems de opción múltiple
Solicita al examinado, mediante una pregunta o una afirmación incompleta llamada base, elegir la respuesta correcta o la mejor opción entre 4 ó 5 que se ofrecen (distractores) Ventajas: es el tipo de reactivo más flexible, pues se puede emplear para medir aprendizajes cognitivos y afectivos, tanto simples como complejos; es difícil adivinar y las respuestas a los distractores permiten rastrear errores en la comprensión Desventaja: el examinado selecciona la respuesta correcta, no la produce; así, es difícil que sintetice su pensamiento, muestre su creatividad, etc. Desarrollos adicionales: multiítem de base común, opción múltiple justificada, opción mejorada, etc. Elaboración de reactivos Ítems de opción múltiple

76 Ítems de respuesta construida
Hay habilidades, como la expresión oral, que no se pueden evaluar de manera válida con ítems de respuesta seleccionada Hay dos tipos de respuesta construida: en la que el examinado construye un producto (la conducta deja una huella) o en la que emite una respuesta (la conducta es evanescente y, por tanto debe registrarse) Al comparar los tests de respuesta seleccionada con los de respuesta construida, estos presentan las siguientes características: Elaboración de reactivos Ítems de respuesta construida

77 Ítems de respuesta construida
Aunque son difíciles de calificar, miden mejor la habilidad para sintetizar ideas, la originalidad, la redacción y otros aprendizajes complejos Se requiere menos tiempo para elaborar los ítems, pero más para calificar las respuestas Animan al estudiante a considerar aspectos más amplios del contenido Sin embargo, si ambos tipos de examen satisfacen el propósito de la evaluación, por razones prácticas casi siempre será elegido el de respuesta seleccionada Elaboración de reactivos Ítems de respuesta construida

78 Ítems de respuesta breve
Piden al examinado proporcionar una palabra o frase en respuesta a una pregunta directa o para completar una afirmación incompleta Ventaja: el examinado construye su respuesta, en particular en relación al conocimiento de información factual Desventaja: difícil de calificar, debido a la variedad de posibles respuestas Recomendación: es mejor una pregunta directa, que una afirmación incompleta Elaboración de reactivos Ítems de respuesta breve

79 Elaboración de reactivos
Es el tipo más común de respuesta construida Se puede estructurar para obligar al examinado a producir una respuesta muy corta, restringiendo la forma y el contenido de la respuesta o limitando el espacio para responder, con lo cual se mejora la confiabilidad al calificar Ventaja: es la mejor estrategia para evaluar el aprendizaje complejo Desventajas: mucho tiempo y poca confiabilidad al calificar y muestreo pobre de contenido Recomendación: establecer explícitamente la tarea del examinado y el valor de cada pregunta Elaboración de reactivos Ítems de ensayo

80 Técnicas para mejorar los ítems
Basadas en juicios. Estrategia a priori para estimar el mérito de un ítem. Expertos en contenido, psicometría y otros se enfocan en la pregunta a fin de detectar fallas Prueba empírica. Se enfoca en datos derivados de las respuestas de los examinados a los ítems, con el mismo fin Ambos tipos de análisis son necesarios Usualmente las técnicas de juicios anteceden a las empíricas Los tests de gran escala enfatizan la prueba empírica, principalmente los normativos Análisis de reactivos Técnicas para mejorar los ítems

81 Aplicaciones normativas y criteriales
Los tests normativos emplean más los métodos empíricos, pues queremos determinar diferencias entre los examinados para contrastar sus ejecuciones. Así, el refinamiento de los ítems solo puede realizarse observando cómo contribuyen a detectar diferencias entre los examinados Con los tests criteriales nos esforzamos por describir con precisión el dominio medido y luego aseguramos que los ítems son congruentes con dicha descripción, lo cual solo puede hacerse mediante juicios humanos Análisis de reactivos Aplicaciones normativas y criteriales

82 Mejoramiento de ítems mediante juicios
Existen varias fuentes de datos derivados de juicios Los redactores de los ítems, quienes tras diseñarlos pueden revisarlos, después de un tiempo prudente Paneles de jueces independientes, sin interés en los ítems y expertos en el contenido, revisan y mejoran los ítems Los propios examinados reportan ítems ambiguos, engañosos, difíciles, fáciles, instrucciones confusas, tiempo insuficiente, etc., inmediatamente después de contestar el examen y solo en situaciones donde no se penalice su ejecución Análisis de reactivos Mejoramiento de ítems mediante juicios

83 ¿Qué deben buscar los jueces?
Si el ítem es congruente con su especificación (más fácil en los normativos) Si no contiene determinantes específicos y otras fallas de redacción técnica (pistas, ambigüedades, etc.) La corrección del contenido Si el ítem y el test presentan sesgo cultural, socioeconómico, de género u otro Análisis de reactivos ¿Qué deben buscar los jueces?

84 Mejoramiento de ítems mediante prueba empírica
El ítem análisis tradicional, particularmente útil para los tests normativos, incluye tres técnicas: Indice de dificultad : P , que es la proporción de examinados que contestaron bien el ítem: P = C / T El valor de P debe considerarse en relación con la probabilidad de responder bien el ítem al azar (opción múltiple 4 = .25; binarios = .50) Análisis de reactivos Mejoramiento de ítems mediante prueba empírica

85 Interpretación del valor P
¿Un ítem con valor P=.80 es fácil? ¿Un ítem con valor P=.20 es difícil? La facilidad o dificultad del ítem están relacionados con el programa instruccional En un examen de aptitud verbal aplicado a un grupo poco familiarizado con su contenido, tiene sentido considerar un ítem con un alto valor de P como difícil; pero existen situaciones diferentes: Con un profesor hábil, ¿Un ítem con P=.95 significa que es fácil o que los examinado, bien enseñados, lo contestaron correctamente? Con un profesor deficiente, dicho ítem, con P=.45 ¿no tenemos incluso más razón para creer que el item no es fácil? Análisis de reactivos Interpretación del valor P

86 Índice de discriminación
Para un test normativo, el indicador más poderoso de la calidad de un ítem es el índice de discriminación Nos indica qué tan frecuentemente responden bien al ítem quienes obtuvieron buena calificación total en el examen; es decir, si discrimina entre los que saben y los que no saben Se trata de establecer una correlación biserial entre una variable contínua (calificación total en la prueba) y la variable dicotómica de la ejecución al ítem (correcto o incorrecto) El índice de discriminación le pone una bandera al ítem que indica que puede tener alguna falla Análisis de reactivos Índice de discriminación

87 Procedimiento para calcular el índice de discriminación
Ordenar los exámenes de mayor a menor puntaje total Dividir los exámenes en grupo alto (27%), grupo bajo (27%) y grupo medio (se elimina para el análisis) Calcular el valor P para los grupos alto y bajo Se resta el P bajo del P alto, para obtener el índice de discriminación del ítem: D = P a - P b Existe una relación estrecha entre P y D. Si P= > D=0 (D= = 0). Lo mismo sucede si P = 0. Por lo tanto, si la dificultad es media, la discriminación es alta (D = = 1.0) Análisis de reactivos Procedimiento para calcular el índice de discriminación

88 Análisis de distractores
Cuando un ítem necesita revisión (ejemplo: P = .50; D = -.33) , es necesario un análisis más profundo para detectar la falla En los ítems de opción múltiple se puede analizar cómo respondieron a los distractores los grupos alto y bajo Ejemplo: Análisis de reactivos Análisis de distractores

89

90 Análisis de reactivos Ítem análisis para tests criteriales
En un test criterial esperamos que por efecto de la instrucción todos los examinados respondan bien en el examen, por lo que habrá un bajo índice de discriminación Por ello, se requiere un esquema diferente. Existen dos alternativas: La diferencia pretest-postest , en la que se administra la prueba al mismo grupo antes y después de la instrucción y se calcula la discriminación: D dpp = P post - pre Análisis de reactivos Ítem análisis para tests criteriales +1.0 -1.0 Pretest Postest Tendencia sin instrucción Ddpp

91 Análisis de reactivos Ítem análisis para tests criteriales
Si el ítem es sensible a la instrucción, discrimina (detecta la diferencia entre la ejecución antes y después de la instrucción) Desventaja: Hay que esperar que termine la instrucción La solución es la Diferencia entre el grupo instruido y no instruido , donde se aplica el test a dos grupos (instruido y no instruido) y se calcula la discriminación basada en las diferencias entre ambos: D gin = P i - n Análisis de reactivos Ítem análisis para tests criteriales +1.0 -1.0 No instruidos Ddgin Instruidos Test

92

93

94 Estandarización de la prueba
Un estándar es una medida del nivel de ejecución del examinado que es adecuado para algún propósito (¿qué tan bueno es lo suficientemente bueno?) Un estándar general produce tranquilidad; uno específico: terror En los test de gran escala y de alto impacto, si el estándar es alto los errores tienen consecuencias desastrosas y duraderas; si es bajo, la sociedad pierde, se devaluan los diplomas, etc. El establecimiento de estándares requiere del juicio humano, pero ello no lo hace arbitrario Estandarización de la prueba Establecimiento de estándares y puntos de corte

95 Ensamble, administración y calificación de la prueba
Establecer estándares es un proceso: lo haremos, cometeremos errores con seguridad y los corregiremos, hasta contar con unos realistas y apropiados Pero ¡ojo!, es más fácil ajustar los estándares hacia arriba que hacia abajo; de igual modo, ponerlos después de aplicar la prueba, que antes Los principales factores a considerar al establecer estándares son: Estandarización de la prueba Ensamble, administración y calificación de la prueba

96 Ensamble, administración y calificación de la prueba
Análisis del contexto de la decisión (¿qué pasa si el examinado falla en lograr el estándar? depende de de la magnitud de la decisión y de consideraciones contextuales: En el salón no queremos falsos dominadores: estándares altos Para dar un diploma o ingresar a otro ciclo, no queremos no-dominadores: estándares bajos Para el caso de los exámenes normativos, es difícil poner estándares debido a su esquema descriptivo vago; por ello, se requiere consultar los datos derivados de la aplicación de los ítems (grupos contrastados) Estandarización de la prueba Ensamble, administración y calificación de la prueba

97 Fin de la primera parte

98 No dominadores Dominadores

99 No dominadores Dominadores

100 Estándar alto Instrucción No dominadores Dominadores

101 Estándar alto Instrucción No dominadores Dominadores

102 Estándar bajo Certificación No dominadores Dominadores

103 Estándar bajo Certificación No dominadores Dominadores

104 Estándar bajo Estándar alto Instrucción Certificación No dominadores Dominadores