Tema 3: Condicionamiento instrumental: entrenamiento de recompensa

Presentación del tema: "Tema 3: Condicionamiento instrumental: entrenamiento de recompensa"— Transcripción de la presentación:

1 Tema 3: Condicionamiento instrumental: entrenamiento de recompensa
Prof. Pablo Adarraga

2 Concepto y tipos de refuerzo positivo

3 Los R+ pueden ser… Estímulos concretos, simples (p.e., un trocito de comida, una sonrisa) Configuraciones estimulares complejas (p.e. un amplio conjunto de signos de aprobación que incluya gestos, palabras y tonos de voz) Posibilidades conductuales: p.e., permiso para usar la consola durante un tiempo, dejar salir al perro al jardín.

4 Principio de Premack Conductas de alta probabilidad: las que espontáneamente se hacen a menudo. Conductas de baja probabilidad: las que espontáneamente se hacen raras veces o nunca. Premack: cuando una CBP va seguida a menudo de una CAP, la primera resulta reforzada (aumenta su probabilidad). El Ppº de Premack afirma que ésta es precisamente la naturaleza del refuerzo.

5 Reforzadores primarios y secundarios
Son reforzadores primarios los que funcionan de forma innata para todos los miembros normales de una especie. Son reforzadores secundarios aquellos cuya capacidad de reforzar no es innata, sino que se debe a aprendizajes previos del organismo. Condicionados: han adquirido su poder por condicionamiento clásico, asociándose a un primario: el clicker, el ruido de la máquina expendedora… No condicionados: dinero, victoria en juegos, etc.

6 El clicker Es el reforzador secundario por excelencia en el entrenamiento de muchos animales. Permite señalar con precisión el momento en que el organismo “se ha ganado el reforzador” con su conducta.

7 R+ en humanos Por las características de nuestra especie, hay algunos reforzadores que tienden a funcionar bien casi siempre. Por ejemplo: Atención por parte de otros. Gestos de comprensión, interés, etc. Signos de aprecio, valoración, prestigio, jerarquía. Logro, victoria, triunfo, éxito…

8 Factores del entrenamiento de recompensa

9 Factores del entrenamiento de recompensa
Factores: variables (independientes) de las que depende su eficacia Hay muchos; en términos generales los principales son: Magnitud de la recompensa Demora de la recompensa Impulso y el más importante: Programa de refuerzo

10 Magnitud del reforzador
Aumentos en la cantidad o calidad del reforzador mejoran la actuación del organismo en la situación de adquisición Sin embargo, las recompensas cuantiosas producen conductas menos estables, que se extinguen más fácilmente. Estribillo: El buen psicólogo es tacaño rácano cutre con los reforzadores positivos.

11 Magnitud del reforzador
Atención a los efectos de contraste: Reducir súbitamente la magnitud de la recompensa durante la adquisición empeora la actuación del organismo, y puede perturbar el aprendizaje Aumentarla mejora la actuación, y a veces puede mejorar también un poco el aprendizaje.

12 Demora de la recompensa
Es el intervalo entre la R y el R+ Cuanto más breve, mejor. A partir de una cierta demora (pocos segundos) ya no se produce condicionamiento Una vez que el organismo emite la R, tenemos una breve ventana para reforzarla Se puede alargar mucho mediante secundarios encadenados.

13 Demora de la recompensa
Estribillo: El refuerzo YA

14 Impulso Es el estado motivacional del organismo respecto a aquello que usamos como R+ Por ejemplo, no es probable que funcionen recompensas alimentarias con un animal saciado. En el laboratorio se operativiza en términos de deprivación: gato 12 horas sin beber, rata al 80% de su peso… No confundir con motivadores típicamente humanos, como los incentivos, salarios, objetivos, metas vitales, etc. En humanos: muy importante asegurarlo, para no emplear “recompensas equivocadas”.

15 Programas de refuerzo

16 Refuerzo continuo y refuerzo parcial
Hay contingencia perfecta entre R y R+ Es decir, siempre que se da la R se obtiene recompensa Es fácil ver que esto es un caso muy particular En la vida real no suele ocurrir mucho No es ni mucho menos la pauta de refuerzo más eficaz Refuerzo parcial: La contingencia entre R y R+ no es perfecta No siempre que se da la R se obtiene recompensa Aquí son posibles infinidad de pautas distintas (programas) Más realista, y a menudo más eficaz

17 Programa de refuerzo: concepto
Es una regla que especifica la pauta con que se administran los refuerzos según responda el organismo. Por ejemplo: Dar recompensa sólo a las respuestas impares (primera, tercera, quinta, etc.) Recompensar sólo las conductas que se mantengan al menos dos minutos sin interrupción Dar la recompensa sólo a las respuestas que se emiten transcurridos 10 segundos o más desde la anterior. Etc. etc.

18 Programa de refuerzo: concepto
En sentido estricto, un programa de refuerzo es una regla sin ambigüedad ninguna, totalmente precisa. Por ejemplo: Dar recompensa sólo a las respuestas impares (primera, tercera, quinta, etc.) es un programa de refuerzo. Dar recompensa a la mitad de las respuestas no lo es (resulta impreciso: hay muchas maneras distintas de hacerlo). Este sentido estricto es muy importante en laboratorio; no tanto en la clínica o el mundo natural. Y en efecto, el mundo natural está lleno de programas de refuerzo.

19 Programa de refuerzo: tipos
Hay infinidad. Sólo veremos algunos de los más importantes Tipos generales: Básicos o simples: se refieren a una sola R, y exigen una condición simple para administrar la recompensa Complejos: Son combinaciones de los anteriores: una sola R, pero una exigencia compuesta para dar recompensa. Concurrentes: se refieren a dos o más Rs alternativas en la misma situación. Otros: programas de duración, de tasas bajas, etc.

20 Programas básicos Hay cuatro tipos: Razón fija Razón variable
Intervalo fijo Intervalo variable

21 Programas básicos: Razón fija
Se recompensa cada enésima R emitida por el organismo: la quinta, la novena, la vigésima… Es decir, se exige al organismo un número fijo de Rs. para darle cada recompensa Notación: RF-5, RF-9, RF-20… Programa RF-5 Ultimo R+ recibido Nuevo R+ 5ª respuesta Tiempo

22 Programas básicos: Razón variable
Es como RF, pero se exige al organismo un número variable de Rs. para darle cada recompensa. Por ejemplo, en un RV-5: Damos la primera recompensa a la 7ª R. Segunda recompensa a la 3ª R. Tercera recompensa a la 6ª Etc. Y globalmente, la media aritmética de las recompensas exigidas es 5 Notación: RV-5, RV-9, RV-20… Los programas RV, por tanto, mantienen siempre cierta incertidumbre sobre “cuándo toca” recibir R+ Son más “naturales que los RF.

23 Programas básicos: Intervalo fijo
Se recompensa la primera R emitida por el organismo una vez transcurrido un intervalo desde la última recompensa administrada Tras cada recompensa hay un “tiempo muerto” Notación: IF-5”, IF-30”, IF-90”… Programa IF-10” Ultimo R+ recibido Nuevo R+ 1ª R tras el fin del intervalo Rs no reforzadas (dentro del intervalo) Tiempo Intervalo de 10”

24 Programas básicos: Intervalo variable
Es como IF, pero la duración del intervalo es diferente para cada recompensa (oscilando en torno a un promedio). Por ejemplo, en un IV-10” podría suceder lo siguiente: El intervalo “muerto” tras la primera recompensa dura 5”. El intervalo tras la segunda recompensa dura 14”. El intervalo tras la tercera recompensa dura 6” Etc. Y globalmente, la media aritmética de los intervalos aplicados es de 10” Notación: IV-5”, IV-25”, IV-120”… Los programas IV, por tanto, mantienen cierta incertidumbre sobre cuándo la recompensa vuelve a estar disponible Son más “naturales que los IF.

25 Razón fija: efectos en la R.
Producen una tasa de respuesta (TR) alta, tanto más alta cuanto mayor sea la razón. La respuesta es tanto más difícil de extinguir cuanto mayor sea la razón (RF-1 se extingue muy fácilmente) Asimismo, la TR resultante es bastante estable (constante) Esa estabilidad se reduce cuando la tasa es muy alta: aparecen las pausas post-reforzamiento. Pausas post-reforzamiento: el organismo detiene sus respuestas transitoriamente justo después de recibir la recompensa (parece como si se tomara un descanso).

26 Razón variable: efectos en la R.
TR muy alta (incluso más que con RF) y tanto más alta cuanto mayor sea la razón. Se obtiene una R muy difícil de extinguir, llegando a cronificarse. TR muy estable (constante) No aparecen pausas post-reforzamiento, salvo en valores altísimos, y a veces ni así.

27 Intervalo fijo: efectos en la R.
TR no muy alta y tanto más baja cuanto mayor sea el valor del intervalo. Con adquisiciones prolongadas, aparece el efecto de festoneado. Efecto de festoneado: El organismo aprende a concentrar todas sus respuestas cerca del fin del intervalo Es como si le hubiera “cogido el tranquillo” al programa: justo después de recibir refuerzo no vale la pena responder, pero cuando el intervalo está cerca de su fin es muy probable que una R reciba recompensa.

28 Intervalo variable: efectos en la R.
TR no muy alta y tanto más baja cuanto mayor sea el valor del intervalo. TR muy estable (constante): sin variaciones locales sistemáticas. No aparece efecto de festoneado: El programa no tiene un “ritmo” temporal que el organismo pueda aprender y aprovechar. Muy utilizados para la implantación de líneas base conductuales.

29 Programas básicos: efectos generales
Los programas de razón dan TRs altas Los programas variables dan TRs estables, constantes. Estos resultados son muy consistentes entre especies (incluida la nuestra).