Diseños de series temporales Roser Bono Cabré Dpto. de Metodología de las Ciencias del Comportamiento Universidad de Barcelona rbono@ub.edu

Concepto Los diseños de series temporales son las estrategias de recogida de datos que mejor reflejan la metodología de estudio longitudinal. Se caracterizan por gran cantidad datos u observaciones que se registran y se requieren cuando se aplican los modelos de análisis basados en los procedimientos desarrollados por Box y Jenkins (1970) ..//..

Según Box y Jenkins (1970), se requiere un mínimo de 50 a 100 observaciones para la correcta identificación de los modelos estadísticos.

Series temporales interrumpidas

Concepto Una modalidad de diseño de serie temporal, de uso frecuente en ciencias sociales y del comportamiento, es el diseño de series temporales interrumpidas. Estos diseños son apropiados para evaluar el impacto de tratamientos (como por ejemplo programas sociales, innovaciones sociales, estímulos, variables manipuladas, etc.). ..//..

Los diseños de series temporales interrumpidas sirven para evaluar el impacto de las intervenciones en ámbitos tan diversos como el efecto de la ley del divorcio sobre la cantidad de separaciones, programas educativos de la comunidad, epidemiología, derechos humanos, política de tasas, seguridad vial, ley de armas, consumo de drogas, etc. ..//..

En general, el diseño de serie temporal interrumpida es un valiosísimo instrumento dentro del ámbito de evaluación de programas e investigación social. ..//..

Se caracteriza por la interrupción de la serie, en un punto de tiempo, por la aplicación del tratamiento a evaluar. Se espera, como consecuencia de la aplicación del tratamiento, que los datos reflejen esta interrupción mostrando un cambio de nivel o pendiente. En ello estriba la lógica que se utiliza en estos diseños, en el sentido de atribuir los cambios operados en la serie, a partir del punto de interrupción, a la presencia o eficacia del tratamiento.

Patrones de cambio

Cambio de nivel El cambio de nivel toma diferentes formas, en función de cómo se espera que actúe la variable de tratamiento. La acción de esta variable puede tomar tres formas (Glass et al., 1975): Una primera expectativa es que la intervención produzca un cambio permanente en el nivel. ..//..

Es posible predecir un cambio de carácter transitorio Es posible predecir un cambio de carácter transitorio. Así, se espera que la intervención tenga un efecto sobre la observación inmediatamente después (Box y Tiao, 1975). Por último, hay una tercera expectativa de carácter intermedio, donde el efecto se amortigua. En otras palabras, el efecto de la intervención tiende a reducirse y a regresar hacia la línea base a lo largo del tiempo.

Cambio de pendiente El cambio de pendiente o tendencia es de interés en aquellas situaciones donde se espera que la tasa de incremento o decremento sea resultado de la intervención. Otra forma de caracterizar el efecto es en función de su persistencia en el tiempo. Así, el efecto puede ser continuo o discontinuo. ..//..

El efecto continuo se produce inmediatamente después de la intervención y persiste durante un largo período de tiempo en la serie. El efecto discontinuo no persiste en el tiempo; es decir, esto suele ocurrir cuando el tratamiento es retirado, o bien cuando posee un efecto transitorio.

Tipos de efectos El efecto puede ser, también, instantáneo o demorado. El efecto instantáneo aparece inmediatamente después de la intervención. El efecto demorado es más difícil de interpretar, ya que suele aparecer de una forma bastante posterior a la aplicación del tratamiento.

Ejemplo: Ballart, X. y Riba, C. (1995) Ejemplo: Ballart, X. y Riba, C. (1995). Impact of legislation requiring moped and motorbike riders to wear helmets. Evaluation and Program Planning, 18(4), 311-320 93

Comentario del gráfico En esta investigación se analiza si una nueva ley, que afecta a los conductores de ciclomotor, reduce el número de heridos en accidentes de carretera. Esta legislación obliga el uso de casco a partir de junio de 1992 y con objeto de endurecer dicha ley, a partir de septiembre de ese mismo año, se interviene con la inmovilización de todos aquellos ciclomotores cuyos pasajeros no lleven el casco reglamentario. Para evaluar el impacto de esa intervención, la Guardia Urbana de Barcelona informó sobre los accidentes de tráfico ocurridos en el área de Barcelona desde diciembre de 1990 hasta noviembre de 1993. Los investigadores están interesados en hallar un efecto positivo de la intervención. ..//..

Ahora bien, el hecho del cambio no garantiza que su causa haya sido la intervención. En esta clase de diseños, cabe la posibilidad de numerosas hipótesis alternativas que rivalizan con la hipótesis de la intervención.

Amenazas a la validez interna La principal amenaza a la validez interna o validez inferencial es, el factor historia. La historia se refiere a hechos o acontecimientos externos distintos al tratamiento que actúan en el punto de intervención y que pueden afectar a la conducta en curso. Entre los posibles controles del factor historia, el más efectivo consiste en añadir un grupo control sin tratamiento a la serie. ..//..

Un ejemplo lo encontramos en el artículo, comentado anteriormente, sobre el uso obligatorio del casco para reducir el número de heridos en carretera, cuyo efecto queda cuestionado por el incremento de campañas publicitarias después de la introducción de la nueva ley. Por ese motivo, se estudia también esa variable externa o histórica como posible explicación alternativa al efecto observado. ..//..

Otra amenaza es la instrumentación Otra amenaza es la instrumentación. Un cambio en los procedimientos administrativos puede modificar la forma como los registros son guardados (cambios en el sistema de registros). Así, aquellos responsables de la administración pueden cambiar los procedimientos de contabilizar los datos. ..//..

Siguiendo con el mismo ejemplo, los registros fueron tomados por la Guardia Urbana de Barcelona, detallándose el tipo y potencia de los vehículos accidentados, el diagnóstico médico y el uso o no de casco de las personas implicadas. Con toda esa información fue fácil contabilizar los casos de forma adecuada. ..//..

La maduración es uno de los factores de confundido que puede darse cuando los individuos se hallan en proceso de desarrollo, como en la infancia o adolescencia. Por ejemplo, al evaluar una reforma escolar, existe la posibilidad que, como consecuencia del paso del tiempo, se generen una serie de procesos madurativos. Estos procesos pueden convertirse en explicaciones alternativas del cambio que, supuestamente, se pretende atribuir al programa. ..//..

La selección es otra amenaza a la inferencia de la hipótesis, cuando la composición del grupo de tratamiento cambia de forma súbita y drástica en el punto de aplicación de la intervención. Esto suele ocurrir debido al desgaste muestral, con lo que es difícil determinar si el tratamiento causó una interrupción en la serie o si la interrupción fue debida a que diferentes sujetos estuvieron en los períodos pre- y post-tratamiento. ..//..

Cabe destacar el efecto de la regresión que constituye una importante amenaza a la validez interna en diseños de series temporales. Se trata de la tendencia de las puntuaciones a volver al nivel inicial después de alcanzar puntuaciones extremas. Por ejemplo, la cantidad de muertes en accidentes puede experimentar un cambio súbito en un período de tiempo y luego volver a los niveles normales, lo que confundiría el efecto del tratamiento. ..//..

El evaluador debe estar alerta a todas esas amenazas cuando aplique un diseño de serie temporal.

Validez externa En lo que concierne a la validez externa o alcance de los resultados, los diseños de series temporales interrumpidas poseen una gran ventaja, en el sentido que los tratamientos son, a menudo, hechos o circunstancias que son vistos por los respondientes como algo natural, como cambios en las leyes, y las respuestas son por lo general no obstrusivas ya que los sujetos las consideran como formando parte de la acción del gobierno o de la colectividad. Así, los tratamientos y las medidas se parecen más a los de la vida real que en otras clases de diseños.

Modelos de análisis Gran cantidad de observaciones (50-100) Análisis de series temporales (Box y Jenkins, 1970). Modelos ARIMA (p,d,q). Inconvenientes: Gran cantidad de observaciones (50-100) Dificultad matemática (SPSS, BMDP, SAS) Dificultad de identificación del modelo Mínimos cuadrados generalizados

Diseño de serie temporal interrumpida con grupo control no equivalente

Concepto Un procedimiento para controlar el artefacto historia consiste en añadir un grupo control o de no-tratamiento. El diseño de serie temporal interrumpida con grupo control no equivalente es una extensión del diseño de serie temporal simple y permite investigar hipótesis más precisas al comparar una serie temporal experimental con otra de control. En consecuencia, se controlan mejor las posibles hipótesis rivales.

Comentario del gráfico La figura anterior representa de forma gráfica la estructura del diseño con dos series temporales, una por grupo y con el punto de intervención claramente señalado (X)

Ventajas Los diseños de series temporales interrumpidas, en común con los diseños cuasi-experimentales transversales, tienen por objetivo examinar el impacto de los tratamientos o de cualquier circunstancia externa capaz de modificar el patrón de los datos. A su vez, sirven para estudiar los procesos a largo plazo, antes y después de una intervención. ..//..

De ahí, la ventaja de estos esquemas es doble: por un lado, son procedimientos para evaluar la magnitud del impacto de las variables de tratamiento y, por otro, sirven para conocer cómo se orientan los datos y hasta cuándo se halla presente la acción del tratamiento. Así mismo, al incorporar en el estudio series paralelas y nuevos grupos de sujetos se incrementa la validez de estos diseños.

Limitaciones Los diseños de series temporales interrumpidas son, con frecuencia, de difícil interpretación. En muchos casos, el intervalo de tiempo para la intervención o punto de corte de la serie no siempre es claro y preciso. Por dicha razón, es aconsejable tener información sobre el momento y amplitud o difusión de la intervención antes de analizar los datos de series temporales. ..//..

Nótese que a veces surgen dificultades al aplicar los tratamientos, especialmente cuando se trata de programas de intervención social que no pueden ser aplicados rápidamente. Así mismo, cabe destacar que el efecto de un programa no suele ser puntual y, con frecuencia, se extiende lentamente a través de la población. ..//..

Otras veces, los efectos no son instantáneos, y tienden a demorarse con el tiempo según la clase de población y momento de aplicación de la intervención. Por otra parte, los datos de series temporales son, por lo general, escasos y a veces menos de los 50 o más que se requieren para un análisis estadístico válido. Esto, sin duda alguna, dificulta la aplicación de los procedimientos basados en los análisis de series temporales, como los modelos ARIMA.

Diseños longitudinales de medidas repetidas

Concepto Según la estrategia de medidas repetidas, las unidades son observadas a lo largo de una serie reducida de intervalos de tiempo u ocasiones. En cada una de estas ocasiones de observación, el registro tomado del individuo puede ser una respuesta a un tratamiento previo o simplemente una medida conductual. ..//..

En el primer caso se trata de un diseño experimental de medidas repetidas y en el segundo, de un diseño longitudinal de medidas repetidas. A su vez, los N sujetos o unidades de observación pueden estructurarse en subgrupos o estratos, de acuerdo con algún criterio de clasificación, como por ejemplo, los diseños de multimuestra o diseños split-plot.

Objetivos del diseño En contextos no experimentales, como en investigación longitudinal, el interés por la estrategia intra radica en la posibilidad de disponer de un conjunto de puntuaciones o medidas de una variable, en dos o más puntos del tiempo. Por esta razón, dicha estrategia es conocida, más comúnmente, por diseño de medidas repetidas. ..//..

Desde la perspectiva longitudinal, los datos de respuesta o medidas de la variable objeto de estudio de cada sujeto son función del tiempo y, en consecuencia, el diseño de medidas repetidas se convierte en un instrumento apropiado para la modelación de las curvas de crecimiento y evaluación de los procesos de cambio en contextos evolutivos, sociales y educativos. ..//..

De este modo, los diseños de medidas repetidas, en sus diferentes modalidades, permiten estudiar los procesos, inherentemente, longitudinales como los de crecimiento (curvas de crecimiento) y de cambio (perfiles). La estrategia de medidas repetidas es un procedimiento de estudio idóneo, cuando el investigador se propone analizar las tendencias que presentan los datos en función del tiempo.

Clasificación

Diseño 1G2O Estudio del cambio

Concepto Con frecuencia, en estudios longitudinales, se plantea como objetivo básico la medida del cambio entre dos ocasiones de observación. La estrategia seguida es la de medidas repetidas en su versión más simple, y el modelo de investigación es referido por diseño antes y después o diseño de un grupo y dos ocasiones de observación (1G2O). ..//..

Según el formato del diseño, se toman de un mismo grupo de sujetos medidas antes y después, para evaluar el posible cambio habido entre las dos ocasiones de observación. Cambio que es atribuible a la administración de un tratamiento o intervención, a la ocurrencia de un hecho circunstancial externo o al simple paso del tiempo. ..//..

La diferencia entre estos diseños y los diseños de series temporales es que los diseños antes y después cuentan con una cantidad mínima de ocasiones de observación (sólo dos ocasiones) y una cantidad considerable de sujetos. En cambio, los diseños de series temporales, en su expresión más genuina, cuentan con una gran cantidad de observaciones y un número reducido de sujetos (frecuentemente un sólo sujeto o unidad observacional).

Conclusiones El estudio del cambio constituye uno de los principales objetos de estudio, dentro del contexto psicológico, particularmente del área asociada al estudio del desarrollo. En su expresión más simple, el estudio del cambio se plantea en términos de un diseño donde los sujetos de la muestra son medidos en dos ocasiones separadas en el tiempo. ..//..

El intervalo de tiempo entre las medidas, referidas por antes y después, depende de la naturaleza del estudio así como del objetivo de análisis. Nótese que en esta clase de diseño, no se pretende examinar un proceso más o menos complejo, sino el cambio simple, en términos de diferencia o ganancia, que experimenta un grupo de sujeto como consecuencia del paso del tiempo.

Estudio de las curvas de crecimiento Diseño 1GMO Estudio de las curvas de crecimiento

Concepto Los estudios longitudinales de medidas repetidas ofrecen la oportunidad de examinar los patrones individuales de cambio en función del tiempo y condiciones. En esta clase de estudios se plantea, como objetivo, el análisis de los procesos de carácter madurativo y progresivo, así como los que son función del tiempo; es decir, el análisis de las curvas de crecimiento. ..//..

En el contexto de medidas repetidas, las observaciones se toman en ocasiones seleccionadas del continuo temporal subyacente. Los sujetos son observados en diferentes ocasiones y en cantidades discretas. ..//..

Entre los objetivos específicos del diseño longitudinal de medidas repetidas está el estudio del proceso que resulta del paso del tiempo y la identificación de algún patrón de tendencia en el tiempo. Dado que este diseño se caracteriza por la combinación de la variable Sujetos y la variable Ocasiones de observación, es simbolizado por S x O (Sujetos x Ocasiones), y genera una matriz de datos factorial de doble entrada.

Formato del diseño 1GMO

Análisis de la variancia de medidas repetidas o mixto (ANOVARM) Modelo de análisis Análisis de la variancia de medidas repetidas o mixto (ANOVARM)

Diseño 2GMO Análisis de perfiles

Concepto El diseño longitudinal de medidas repetidas se convierte en una estructura algo más compleja, cuando se tiene en cuenta una variable de clasificación o agrupación de sujetos. La posibilidad de extraer muestras de subpoblaciones o estratos es recomendable en situaciones donde los sujetos son susceptibles de ser categorizados y agrupados en función de alguna característica psicológica, clínica, biológica y social, capaz de actuar de variable pronóstica o de predicción. ..//..

Uno de los esquemas que se derivan de esta estructura, es el diseño split-plot. El diseño longitudinal split-plot compagina la estrategia de grupos con la estrategia de medidas repetidas. Por dicha razón, es conocido por diseño multimuestra de metidas repetidas. Los sujetos están agrupados en distintas submuestras y son observados a lo largo de una serie de puntos del tiempo u ocasiones.

Formato del diseño 2GMO

A1 A2 Grupos Sujetos O1 O2 ... Ot 1 2 3 . n Y11 Y21 Y31 . Yn1 Y12 Y22 Y1t Y2t Y3t . Ynt A2 1 2 3 . n Y11 Y21 Y31 . Yn1 Y12 Y22 Y32 . Yn2 ... Y1t Y2t Y3t . Ynt

Diseño split-plot y análisis de perfiles Una de las principales modalidades de diseño de medidas repetidas es aquella donde los sujetos están clasificados de acuerdo con variables pronósticas o de naturaleza clasificatoria de carácter biológico, psicológico o social. Son formatos donde los sujetos están distribuidos en grupos de acuerdo con uno o más criterios de clasificación y repiten medidas a lo largo de los mismos intervalos de observación. ..//..

Así, dentro de un mismo estudio se aplica la estrategia de comparación de grupos y se analizan los cambios en función del tiempo. Esta clase de diseño, que permite probar un conjunto de hipótesis de interés, se asocia, con frecuencia, al análisis de perfiles.

Hipótesis del análisis de perfiles

Hipótesis 1 Paralelismo de los perfiles ¿Pueden considerarse paralelas las curvas o perfiles de los diferentes grupos implicados en el estudio? En caso afirmativo, se infiere que no hay interacción entre los grupos y las ocasiones y que ambos grupos responden de forma similar en cada uno de los puntos u ocasiones. Esta primera hipótesis es análoga a la prueba de la interacción grupo por tiempo, del enfoque univariado de la variancia.

Hipótesis 2 Coincidencia de los perfiles Si los perfiles son paralelos, cabe plantear un segunda hipótesis: ¿son, al mismo tiempo, coincidentes? es decir ¿existe una diferencia entre ambos grupos? Se trata, en este segundo caso, de una hipótesis relativa a la diferencia entre los grupos. Esta segunda hipótesis se refiere a la coincidencia de los grupos.

Hipótesis 3 Constancia de los perfiles Por último, si son coincidentes, entonces es posible formular la tercera hipótesis: ¿son los perfiles constantes? Esta última hipótesis plantea la posibilidad de tendencias en los perfiles en función del tiempo. Se trata, en definitiva, de probar la posibilidad de cambio en los perfiles, como consecuencia del paso del tiempo.

Representación gráfica de las tres hipótesis. Análisis de perfiles

¿Pueden considerarse paralelos los perfiles de los grupos? (A x O) 2. ¿Son al mismo tiempo coincidentes? (A) 3. ¿Son ambos perfiles constantes? (O)

Diseño de cohortes

Concepto El término cohorte se aplica a grupos o agregados de individuos caracterizados por el punto de entrada en un sistema social. Una excelente caracterización del concepto de cohorte es la de Ryder (1965), en el marco del estudio del cambio social. Según Ryder (1965), la cohorte es un agregado de individuos (dentro de alguna población definida) que ha experimentado las mismas circunstancias vitales en un mismo intervalo de tiempo. ..//..

Esta definición es similar a la de Glenn (1977) y ambos autores matizan que el término cohorte va más allá del conjunto de individuos nacidos en un mismo año o período. Por esta razón, la cohorte no es la simple suma de un conjunto de historias individuales. Cada cohorte tiene una composición distintiva y un carácter que refleja las circunstancias de su historia y origen único. ..//..

El estudio del posible efecto de cohorte, como diferente de la edad y período, no sólo es objeto de interés en investigación social, cuando se estudia el cambio social, sino también en el ámbito de la investigación del desarrollo, cuando se plantea el estudio de la evolución individual. ..//..

En el contexto de la psicología del desarrollo, Schaie (1965) ha formulado un modelo teórico del que deriva una serie de estrategias de diseño para describir los cambios relacionados con la edad y las diferencias de cohortes. Este modelo, propuesto dentro del marco del estudio del ciclo-vital, es conocido por modelo evolutivo general y está formado por tres componentes: edad cronológica, período (momento de la medida) y cohorte (año de nacimiento)

Psicología del desarrollo Efecto de cohorte Impronta común. Cohorte de nacimiento o generación. También sujetos que asistieron a la escuela en un determinado año, promoción de licenciados, etc.

Efecto de Edad cambios a largo plazo asociados al proceso del ciclo vital (nivel intelectual, comprensión lectora, etc.) Efecto de Período fluctuaciones de los datos debidas a hechos particulares o circunstancias que ocurren en determinados puntos de tiempo (cambios en programas educativos, etc.)

Propuesta de Schaie (1965) Schaie (1965, 1970, 1972) propuso un modelo de desarrollo de carácter tridimensional. D = f(E, P, C) El desarrollo observado es función de la edad cronológica (E), del tiempo o período de observación (P) y de la generación o cohorte (C)

Efectos del diseño de cohortes El interés de los diseños de cohortes es conocer cuál es la contribución de los tres componentes del modelo y la magnitud de sus efectos. Los efectos de edad son los cambios a largo plazo que están asociados al proceso del ciclo vital, y no necesariamente a la edad en sí. ..//..

Los efectos de período son las fluctuaciones de los datos debidas a hechos particulares o circunstancias que ocurren en determinados puntos de tiempo y los efectos de cohortes, conocidos también por efectos de generación, son las diferencias duraderas intercohortes atribuibles a la impronta común de sus miembros.

Formato del diseño de cohortes

Análisis Diseño secuencial transverso (cohorte x período) Diseño secuencial de tiempo (edad x período) Diseño secuencial de cohorte (cohorte x edad)

Diseño en panel

Concepto En su formato más simple, el estudio en panel consiste en una muestra de sujetos de la que se toman, en distintos intervalos de tiempo, medidas o registros de dos o más variables. Desde el punto de vista estructural, el diseño en panel toma formas diferentes según se combinen las variables y las tandas o puntos de observación. ..//..

La modalidad más simple es el formado de dos tandas y dos variables (observaciones), simbolizado por 2T2V. La extensión de este formato es el diseño de tres tandas y dos variables, 3T2V. La estructura del diseño puede ampliarse tanto en las variables como en la tandas, NTNV.

Clasificación MODELO VARIABLES TANDAS NTNV N Variables N Tandas ................ ..................... ................. 3T2V Dos Variables Tres Tandas 2T2V Dos Tandas MODELO VARIABLES TANDAS

Diseño en panel de dos tandas y dos variables (2T2V)

Concepto El diseño en panel de dos tandas y dos variables es un esquema de estudio muy simple, ya que se trata de un formato donde se miden, simultáneamente, dos variables sobre los mismos individuos o muestra de sujetos y en dos puntos del tiempo. ..//..

Diagrama del diseño 2T2V

Correlaciones del diseño 2T2V Asociación temporal: Correlaciones de retardos cruzados rX1Y2 y rY1X2 (5) y (6) Sincronía o contemporanidad: Correlaciones sincrónicas rX1Y1 y rX2Y2 (1) y (2) Estabilidad de la medida: Autocorrelaciones rX1X2 y rY1Y2 (3) y (4) Significado Notación Correlación

Análisis en panel de correlaciones cruzadas

La correlación cruzada en panel como técnica de análisis del diseño en panel, fue inicialmente propuesta por Campbell (1963) y consiste en comparar las correlaciones cruzadas muestrales (o correlaciones de retardos cruzados): rx1y2 versus ry1x2 Cuando rx1y2 > ry1x2 se infiere la acción causal de X sobre Y; en caso contrario, la atribución de causalidad va de Y a X.

No es necesario señalar que la atribución de la causalidad sólo es válida cuando la diferencia entre las correlaciones cruzadas es estadísticamente significativa. Este planteamiento de análisis, un tanto controvertido, tiene sus defensores (Crano, 1977), y sus detractores (Duncan, 1969), no obstante su utilización sigue siendo recomendable (Kenny, 1973, 1975, 1979)

H0 : rx1y1 – rx2y2 = 0 ..//.. Supuestos previos: A) Condición de estacionaridad Las correlaciones sincrónicas no han de cambiar en magnitud y dirección a través de tiempo. En términos estadísticos, ha de probarse la hipótesis de nulidad o no-diferencia significativa entre las correlaciones sincrónicas. H0 : rx1y1 – rx2y2 = 0 ..//..

B) Condición de sincronía Las dos variables han de ser medidas en los mismos puntos del tiempo.

Ejemplo práctico

¿La violencia televisiva causa agresión? Trabajo publicado por Eron, Huesmann, Lefkowitz y Walder (1972)

Violencia en TV y agresividad Se aplicó un diseño de correlación cruzada en panel para estudiar la dirección de la relación entre violencia en televisión y conducta agresiva. Se seleccionó una muestra de 427 sujetos y fue contactada dos veces: al tercer grado y al cabo de 10 años. En ambas ocasiones, los participantes aportaron una lista de programa favoritos en TV que, más tarde, fue evaluada, en términos del contenido violento. La agresividad fue puntuada por sus compañeros.

Resultado Tiempo 1 Tiempo 2 Violencia TV r=0,05 Violencia TV r= 0,31 r=0,01 r=0,21 r= –0,05 Agresividad Agresividad r=0,38

Comentario Los resultados muestran que la correlación entre violencia TV antes y agresión después (r=0,31) es mayor que la correlación entre agresividad antes y violencia TV después (r=0,01). Este patrón confirma la hipótesis de que la visión de la violencia televisiva determina que los sujetos sean agresivos.

Fin de los Diseños cuasi-experimentales longitudinales