Sesión 2: Coordinación  Negociación y Argumentación

Presentación del tema: "Sesión 2: Coordinación  Negociación y Argumentación"— Transcripción de la presentación:

1 Sesión 2: Coordinación  Negociación y Argumentación
29/03/2017 Sistemas Multiagente Sesión 2: Coordinación  Negociación y Argumentación Curso 2008/2009 Ramón Hermoso Añadir Combinatorial Auctions 29/03/2017

2 La Coordinación en los Sistemas Multiagente
29/03/2017 La Coordinación en los Sistemas Multiagente Indice: 1. Introducción 2. Negociación y Argumentación 3. Bibliografía 29/03/2017 -2-

3 ¿Qué es la Coordinación?
29/03/2017 ¿Qué es la Coordinación? Concepto “universal”: Ciencias Sociales, Economía, Biología, … Robótica, Ingeniería del Software, Lenguajes de Programación, Inteligencia Artificial (Distribuida), … Semántica “borrosa”: Múltiples definiciones ¡Esto no es coordinación! Coordinación en los Sistemas Multiagente (SMA): la coordinación es un problema clave en la construcción de SMAs la capacidad para coordinarse es una característica esencial de un agente 29/03/2017

4 La coordinación en los SMA: perspectivas diferentes
29/03/2017 Diseño a nivel micro Varios diseñadores de agentes Un diseñador de agentes Interés del diseñador en la coordinación Diseño a nivel macro Diseño a nivel macro construir sistemas de múltiples agentes con características deseadas Un diseñador de agentes agentes benévolos diseñar todo un sistema de resolución de problemas “La coordinación es la integración y el ajuste del trabajo individual con el fin de alcanzar una meta mayor” (B. Singh) 29/03/2017

5 Coordinación a nivel macro: Resolución Dist. de Problemas
29/03/2017 Coordinación a nivel macro: Resolución Dist. de Problemas Ejemplo: Gestión de tráfico rodado red de autopistas urbanas Construir un sistema que genere planes de señalización en función del estado del tráfico 29/03/2017

6 Coordinación a nivel macro: Resolución Dist. de Problemas
29/03/2017 Coordinación a nivel macro: Resolución Dist. de Problemas Arquitectura TRYS (Cuena et al.): agentes de resolución de problemas cada agente es responsable de un área problema genera planes alternativos de señalización local y los comunica al agente coordinador agente coordinador resuelve las interdependencias entre los planes locales envía los planes locales adaptados a los agentes para su ejecución 29/03/2017

7 La coordinación en los SMA: perspectivas diferentes
29/03/2017 Diseño a nivel micro Varios diseñadores de agentes Interés del diseñador en la coordinación Un diseñador de agentes agentes benévolos diseñar todo un sistema de resolución de problemas Diseño a nivel macro construir sistemas de múltiples agentes con características deseadas “La coordinación es una forma de adaptarse al entorno” (von Martial) Diseño a nivel micro en un entorno abierto con múltiples agentes diseñar un agente adicional con características deseadas 29/03/2017

8 Coordinación a nivel micro
29/03/2017 Ejemplo: Agente R1 ha de vigilar una zona existen dos puntos de observación (P1 y P2) suponen un valor (altura) y un coste (distancia) acciones: A1 (ir a P1), A2 (ir a P2) y N (nada) Coste: 1 P1 P2 R1 Valor: 2 Valor: 4 Coste:2 Mundo multiagente junto con R2: Utilidad: URi(Ai) = valor ({Pi,Pj}) – coste(Ai) R1 conoce sus tres acciones alternativas y sus consecuencias R1 no sabe si R2 es consciente de tener la alternativa A2 Coste: 1 R2 29/03/2017

9 Coordinación a nivel micro
29/03/2017 Método RMM (Gmytrasievicz y Durfee): 1 5 4 2 A1 A2 N R1 R2 [0.25, 0.75] p=0.75 p=0.25 Modelo de R1 de su propia situación 4 R2 no sabe de P2 R2 sabe de P2 – 2 A1 A2 N R1 R2 4 5 3 2 A1 A2 N R1 Modelo de R1 sobre las posibles acciones de R2 R2 11/3 1 R1 no sabe qué modelo R2 tiene de él [0.5, 0.5] [1/3, 1/3, 1/3] 29/03/2017

10 La coordinación en los SMA: perspectivas diferentes
29/03/2017 La coordinación en los SMA: perspectivas diferentes Diseño a nivel micro Varios diseñadores de agentes Interés del diseñador en la coordinación Un diseñador de agentes agentes benévolos diseñar todo un sistema de resolución de problemas en un entorno abierto con múltiples agentes diseñar un agente adicional con características deseadas Diseño a nivel macro construir sistemas de múltiples agentes con características deseadas “Coordinar es gobernar la interacción” (Wegener ) Varios diseñadores de agentes no se puede ejercer un control directo sobre los agentes diseñar el contexto del sistema 29/03/2017

11 Coordinación a nivel macro: Sociedades de Agentes
29/03/2017 Coordinación a nivel macro: Sociedades de Agentes Ejemplo: Comercio Electrónico (Rosenschein y Zlotkin): asignación de llamadas telefónicas a compañías de telecomunicación objetivo: evitar comportamiento estratégico entre compañías Mecanismo de subasta: un agente usuario comunica las características de la llamada a los distintos agentes empresa cada agente empresa contesta con una oferta (precio por minuto) el agente usuario elige una oferta en base a una convención 29/03/2017

12 Coordinación a nivel macro: Sociedades de Agentes
29/03/2017 Coordinación a nivel macro: Sociedades de Agentes Convención 1: elegir la mejor compañía y pagar el precio de la oferta más baja problema: promociona el comportamiento estratégico Convención 2: elegir la mejor compañía y pagar el precio de la segunda oferta más baja elimina incentivos para el comportamiento estratégico 29/03/2017

13 La Coordinación en los Sistemas Multiagente
29/03/2017 La Coordinación en los Sistemas Multiagente Indice: 1. Introducción 2. Negociación y Argumentación 3. Bibliografía 29/03/2017

14 29/03/2017 Coordinación 29/03/2017

15 Coordinar es Gestionar Dependencias
29/03/2017 Coordinar es Gestionar Dependencias Coordinación: gestión de dependencias (Malone y Crowston) t1 t2 t3 t t1,1 t1,2 t1,3 t3,3 t3,2 t3,1 t'1 t'2 t' t'1,1 t'1,2 t'1,3 t'2,1 t'2,2 t'2,3 Agente 1 Agente 2 local type A type B Tareas de coordinación: definición del contexto de coordinación: agentes, metas, tareas, capacidades, etc. detección de dependencias: recursos compartidos, productor/consumidor etc. decisión de gestión: secuenciación temporal, selección de recursos etc. 29/03/2017

16 La coordinación en entornos abiertos
29/03/2017 La coordinación en entornos abiertos Diseño de estrategias Diseño de Sistemas de Agentes para Negociación Diseño a nivel micro en un entorno abierto con múltiples agentes diseñar un agente adicional con características deseadas Diseño a nivel macro construir sistemas de múltiples agentes con características deseadas Un diseñador de agentes agentes benévolos diseñar todo un sistema de resolución de problemas Un diseñador de agentes agentes benévolos diseñar todo un sistema de resolución de problemas Varios diseñadores de agentes no se puede ejercer un control directo sobre los agentes diseñar el contexto del sistema Diseño de protocolos 29/03/2017

17 Situaciones con múltiples decisores: Juegos
29/03/2017 Situaciones con múltiples decisores: Juegos Modelos cuantitativos de coordinación Las dependencias se compilan en funciones de utilidad multi-atributo Un agente sólo controla un subconjunto de atributos (o sólo uno) Juegos: En su versión más simple, se considera un juego  en forma normal una tripleta (I,S,U), tal que I es un conjunto de n agentes (jugadores) S es el espacio de acciones (estrategias) conjuntas, pudiendo elegir cada agente de un conjunto finito de acciones (estrategias) individuales U es un conjunto de funciones de utilidad Ui para cada jugador, tal que 29/03/2017

18 Escenarios antagónicos: Juegos de suma nula
29/03/2017 Escenarios antagónicos: Juegos de suma nula Un juego es de suma nula cuando en toda estrategia conjunta s se compensan exactamente las ganancias de unos jugadores con las pérdidas de otros, es decir: Si consideremos el caso particular de un juego bipersonal de suma nula, la fórmula anterior se reduce a la siguiente afirmación: 29/03/2017

19 Escenarios parcialmente cooperativos: Juegos de suma no constante
29/03/2017 Escenarios parcialmente cooperativos: Juegos de suma no constante Juegos de suma no constante: representan entornos en los que los intereses de los jugadores no son totalmente antagónicos hay estrategias conjuntas de las que se pueden beneficiar ambos jugadores: Matriz de juego: representación de un juego de suma no constante con dos jugadores las filas representan las posibles acciones del agente 1, mientras que las columnas indican las posibilidades de elección del jugador 2 las celdas de la matriz contienen pares de números, que indican los valores de utilidad de cada uno de los jugadores 29/03/2017

20 Escenarios parcialmente cooperativos: Juegos de suma no constante
29/03/2017 Escenarios parcialmente cooperativos: Juegos de suma no constante Ejemplo: Dilema de Prisionero Dos cautivos, de los que existe suficiente evidencia incriminatoria, son sometidos de forma separada a un interrogatorio. Estrategias alternativas de actuación: confesar el crimen del que se le acusa (“defect”, D ) callarse (“cooperate”,C ). Resultados de la actuación: ninguno confiesa: serán condenados a un año en la cárcel por una fechoría menor ambos confiesan: afrontarán 5 años de cárcel uno confiesa y el otro se calla: al primero se le perdonará la fechoría menor, y será liberado gracias a su colaboración, mientras que el último será recluido durante 10 años Nota: Muchas situaciones de la vida real tienen las características del Dilema de los Prisioneros (“arms-race”, “free-rider”, etc.) 29/03/2017

21 Escenarios parcialmente cooperativos: Juegos de suma no constante
29/03/2017 Escenarios parcialmente cooperativos: Juegos de suma no constante Utilidades Interpretando los años en la cárcel como valores negativos de utilidad U1(D,D) = U1(D,C) = U1(C,D) = U1(C,C) = -1 U2(D,D) = U2(D,C) = U2(C,D) = U2(C,C) = -1 Matriz del juego: C D (-1,-1) (-10,0) (0,-10) (-5,-5) Preferencias Agente 1: (D,C) >1 (C,C) >1 (D,D) >1 (C,D) Agente 2: (C,D) >2 (C,C) >2 (D,D) >2 (D,C) 29/03/2017

22 Evaluación del Dilema del Prisionero
29/03/2017 Evaluación del Dilema del Prisionero Contexto: los agentes no pueden comunicarse, y en particular no pueden llegar a acuerdos respecto a las acciones que tomar, o al reparto de las utilidades obtenidas. Estrategia racional: cada convicto prefiere confesar (D) en vez de callarse (C). Seguridad: Si elige C corre el riesgo de ser recluido por 10 años, mientras que al hacer D la penalización máxima es de 5 años. D domina a C: Si el compañero juega D, lo mejor que puede hacer el agente es jugar D también, puesto que en este caso sólo iría 5 y no 10 años a la cárcel. Si el otro convicto se calla (C), la mejor opción será confesar (D), puesto que así la potencial condena de un año se convierte en nada 29/03/2017

23 Equilibrio de Nash Definición:
29/03/2017 Equilibrio de Nash Definición: Un conjunto de acciones está en equilibrio de Nash si ningún agente tiene incentivos para desviarse de él de forma individual ningún agente puede incrementar su utilidad cambiando unilateralmente su acción. Formalmente, si s* es un equilibrio de Nash entonces Dependiendo del juego puede haber uno, varios, o ningún equilibrio de Nash 29/03/2017

24 Soluciones al Dilema del Prisionero
29/03/2017 Soluciones al Dilema del Prisionero Dilema del Prisionero: El único equilibrio de Nash es (D,D), por lo que ambos acusados acabarán por 5 años en la cárcel Pero la opción (D,D) no es (Pareto-)eficiente … (C,C) domina a (D,D) Cada agente podría estar mejor sin que el otro estuviera peor Soluciones: Modificar el concepto de racionalidad: altruismo, generosidad, etc. Dilema del Prisionero Iterado (con futuro “abierto”): Torneo de Axelrod: gana la estrategia “Tit-for-Tat” Establecer condiciones para que se pueda llegar a “acuerdos creíbles” 29/03/2017

25 Modelos de Negociación
29/03/2017 Modelos de Negociación Indice: 1. Introducción 2. Modelos de Negociación 2.1. Subastas 2.2. Regateo 2.3. Argumentación 3. Bibliografía 29/03/2017

26 Negociación Objetivo: Tipos de negociación:
29/03/2017 Negociación Objetivo: determinar (las condiciones de) un acuerdo entre, al menos, dos agentes Tipos de negociación: Subastas Adjudicar productos y tareas a través de un “mercado” n participantes, transacción entre 2 Regateo Llegar a un acuerdo entre todos los participantes Argumentación Resolver (supuestos) conflictos a través del debate “Rules of Encounter” Rosenschein and Zlotkin, 1994 29/03/2017

27 Subastas Mecanismo estructurado para forjar acuerdos
29/03/2017 Subastas Mecanismo estructurado para forjar acuerdos Protocolo: semi-distribuido, con diferentes roles 1 subastador N subasteros Estrategias: “pujas” de los subasteros Precio inicial, precio de reserva, etc., del subastador No muy frecuentes en la realidad, pero sí bastante populares en Comercio Electrónico (p.e. eBay) 29/03/2017

28 Subasta inglesa Inicio: Apuestas: Adjudicación:
29/03/2017 Subasta inglesa Inicio: el subastador ofrece un producto a un precio inicial (usualmente por debajo de un precio mínimo privado) Apuestas: los subasteros van ofertando precios (ninguna, una, o varias veces) cada oferta tiene que superar todas las anteriores el ciclo de apuestas termina cuando no hay más ofertas Adjudicación: si la última oferta alcanza el precio mínimo (privado) del subastador, el producto es adjudicado al subastero de la oferta más alta de lo contrario no se vende el producto (el subastador tiene la última palabra!!!) 29/03/2017

29 Subasta inglesa entre agentes: Protocolo FIPA
29/03/2017 Subasta inglesa entre agentes: Protocolo FIPA En los subastas de agentes, los participantes no están físicamente presentes en una sala de subasta reject-proposal: pueden llegar pujas ilegales, p.ej. por retardos en la red cfp: anunciar cada nueva ronda de pujas con el precio actual inform: informar a todos los participantes sobre el resultado de la subasta request: requerir que el ganador realice la transacción 29/03/2017

30 Subasta holandesa Adjudicación:
29/03/2017 Subasta holandesa Se usa en mercados de flores holandesas para determinar el precio de una cantidad de flores Inicio: el subastador ofrece una cantidad de un producto a un precio inicial (usualmente por encima de un precio mínimo privado) Apuestas: cada tiempo (Dt) disminuye el precio en una cantidad (D$) cada oferta especifica la cantidad del producto a comprar al precio actual el subastador determina el final de la subasta (o bien porque toda la cantidad ha sido adjudicada, o bien porque se alcanza el precio mínimo privado) Adjudicación: la adjudicación de cada oferta a los subastaros es directa el subastador informa del final de la subasta 29/03/2017

31 Subasta holandesa entre agentes: Protocolo FIPA
29/03/2017 Subasta holandesa entre agentes: Protocolo FIPA En los subastas entre agentes, los participantes no están físicamente presentes en una sala de subasta reject-proposal: si llegan pujas ilegales o a la vez accept-proposal: ya que la adjudicación es directa, la aceptación de una puja implica la realización de la transacción inform: del final de la subasta 29/03/2017

32 Ejemplos de subasta “one-shot”
29/03/2017 Ejemplos de subasta “one-shot” Subastas “one-shot” Sólo hay una oportunidad para hacer ofertas (i.e. el proceso no es iterativo) Ejemplo de la asignación de llamadas telefónicas (véase introducción) Subasta first-price sealed bid: elegir la mejor compañía y pagar el precio de la oferta más baja Subasta Vickrey: elegir la mejor compañía y pagar el precio de la segunda oferta más baja 29/03/2017

33 Subastas one-shot: Modelado con protocolos FIPA
29/03/2017 Subastas one-shot: Modelado con protocolos FIPA No existen protocolos específicos para subastas one-shot en FIPA IPL Sin embargo, dichas subastas se pueden “simular” sobre la base de la “Red de Contratos” El protocolo Red de Contratos (Contract Net) es un mecanismo “clásico” de la IA Distribuida para la asignación de tareas 29/03/2017

34 Subastas de venta y de compra
29/03/2017 Subastas de venta y de compra Subastas de venta: 1 vendedor, n compradores Ejemplos: subasta inglesa y holandesa “tradicionales” Subastas de compra 1 comprador, n vendedores variaciones de las subastas descritas: subasta inglesa de precio descendente subasta holandesa de precio ascendente 29/03/2017

35 Tipos de Protocolos de Subasta
29/03/2017 Tipos de Protocolos de Subasta Tipo de ofertas: abierto (open-cry): los subasteros conocen mutuamente sus ofertas privado/cerrado (sealed-bid): los subasteros sólo conocen sus propias ofertas Proceso de ofertas: una vuelta (one-shot): los subasteros sólo dan una oferta directa (forward): el precio de las ofertas va ascendiendo inversa (reverse): el precio de las ofertas va descendiendo Proceso de adjudicación: ¿Qué oferta se usa para determinar el precio que ha de pagar el ganador? (first-price, second-price, …) Ejemplos: Subasta inglesa (tradicional): first-price open-cry (forward) Subasta holandesa (tradicional): first-price open-cry (reverse) Subasta Vickrey: one-shot second-price sealed-bid 29/03/2017

36 Tipos de Escenarios de Subasta
29/03/2017 Tipos de Escenarios de Subasta valor público (común): el valor del producto sólo depende de las preferencias de los demás subasteros (valor consiste únicamente en la reventa) p.e.: billete de un dólar valor privado: el valor del producto sólo depende de las propias preferencias del subastero (no hay posibilidad de reventa) p.e. billete de un dólar gastado por John Lennon valor correlado: el valor del producto depende de las preferencias tanto del propio subasteros como de los demás p.e.: una obra de arte que sirve como decoración y como inversión mayoría de las escenarios reales (p.e. Comercio Electrónico) más propicios al análisis formal 29/03/2017

37 Algunos resultados sobre las subastas
29/03/2017 Algunos resultados sobre las subastas Subastas Vickrey: la estrategia dominante de un agente subastero en subastas Vickrey de valor privado es apostar su valor real El subastador pierde algo de utilidad (diferencia entre primer y segundo precio) Subastas first-price (p.ej. inglesa) El subastero recibe el precio de la oferta más alta Hay incentivos para que los subasteros no revelen su precio real (sino uno más bajo) 29/03/2017

38 Problemas Subastas Vickrey: Todas las subastas: subastador mentiroso:
29/03/2017 Problemas Subastas Vickrey: subastador mentiroso: el subastador tiene incentivos para mentir respecto al precio de la segunda oferta más alta (ya que el subastero ganador la desconoce) revelación de información privada: los subasteros revelan su precio real, lo cual podrá ser utilizado por los demás subasteros en subastas futuras (de otro tipo) Todas las subastas: colusión entre subasteros: si los subasteros se conocen, hay incentivos para coordinar sus ofertas costes computacionales: costes de “búsqueda” en subastas interrelacionadas costes de recabar información en situaciones de incertidumbre 29/03/2017

39 Plataformas para subastas
29/03/2017 Plataformas para subastas Fishmarket: Trading Agent Competition (TAC): … 29/03/2017

40 Negociación: Regateo Elementos de un escenario de regateo
29/03/2017 Negociación: Regateo Características: posibilidad de forjar acuerdos globales (“creíbles”) entre n agentes todos los agentes pueden beneficiarse de un acuerdo pero hay una diferencia de opinión con respecto a las características del acuerdo (qué acuerdo elegir) Elementos de un escenario de regateo Conjunto (espacio) de negociación: Todos los posibles acuerdos a los que se pueden llegar Ejemplo: todos los precios entre las expectativas iniciales de un comprador y un vendedor Protocolo de negociación: Reglas que determinan el proceso de negociación: ¿Cómo, cuándo, y qué ofertas se pueden hacer? ¿Cuándo termina la negociación y cuál es el resultado? Ejemplo: “No se puede ‘empeorar’ una oferta ya hecha” Estrategia de negociación: Cómo elegir entre las diferentes acciones que permite el protocolo Ejemplo: “Mejorar mi última oferta en 10% cada 5 minutos” 29/03/2017

41 Objetivos de Diseño Diseño de estrategias: Diseño de protocolos:
29/03/2017 Objetivos de Diseño Diseño de estrategias: Racionalidad: maximizar las ganancias esperadas Eficiencia: minimizar el coste computacional para determinar una acción … Diseño de protocolos: Distribución: evitar que haya un “cuello de botella” (punto de fallo) Convergencia: garantizar que se llega a un acuerdo (o desacuerdo) en tiempo finito Simplicidad: fomentar que se llegue rápido a un acuerdo (o desacuerdo) Eficiencia: si se llega a un acuerdo, este no “desperdicia” utilidad Estabilidad: motivar a los agentes para elegir estrategias con características deseadas (estrategias dominantes, equilibrios de Nash) 29/03/2017

42 Negocación: Regateo Regateo como proceso de oferta y contraoferta
29/03/2017 Negocación: Regateo Regateo como proceso de oferta y contraoferta Regateo como proceso de concesiones mutuas Oferta Contraoferta Agente Ai acepta Agente Ai Agente Aj The proposals that agents make are defined by their strategy; must be drawn from the negotiation set; and must be legal as defined by the protocol. If an agreement is reached as defined by the rule, then negotiation terminates. Example: Agreeing on a price. If agenti is going a buy a book from agentj and agenti can only afford to pay a certain price, agenti will continue to negotiate on the price until the offer from agentj is a price that agenti can pay. Ofertas de Aj Ofertas de Ai Punto de acuerdo/ transacción 29/03/2017

43 El protocolo de concesiones monótonas (PCM)
29/03/2017 El protocolo de concesiones monótonas (PCM) Protocolo PCM: El regateo se realiza por rondas En la ronda 1, cada agente propone simultáneamente un trato del conjunto de negociación Se llega a un acuerdo, si un agente considera que el trato propuesto por el otro es al menos tan bueno (para él) como el suyo. Si no hay acuerdo, se realiza una nueva ronda de propuestas. En la ronda u+1, ningún agente puede realizar una propuesta peor que en la ronda u. Si ningún agente cede, el regateo termina en desacuerdo. Diseño de estrategias: ¿Con qué propuesta empezar? ¿Cuándo (en qué ronda) hay que ceder? ¿Cuánto hay que ceder? 29/03/2017

44 29/03/2017 La propuesta inicial Leo Baekeland sold the rights to his invention, Velox photographic printing paper, to Eastman Kodak in It was the first commercially successful photographic paper and he sold it to Eastman Kodak for $1 million. Baekeland had planned to ask $ and to go down to $ if necessary, but fortunately for him, Eastman spoke first. (Asimov, 1982) 29/03/2017

45 pérdida máxima en caso de concesión
29/03/2017 El factor “riesgo” Idea de estrategia: Empezar con el trato más favorable para uno mismo Determinar cuándo (y cuánto) ceder dependiendo de cuánto se puede perder en caso de conflicto (riesgo) mejor trato para Ai mejor trato para Aj trato conflicto Cuánto estoy dispuesto a arriesgar un conflicto? pérdida máxima en caso de conflicto pérdida máxima en caso de concesión Reference for figure: Rosenschein & Zlotkin, 1994 Risk evaluation: One way to think about which agent should concede at each step is to consider how much each has to loose by running into conflict at that point. An agent who has made many concessions has less to lose if conflict is reached rather than an agent who has not made any concessions. If we had a way of measuring agent’s willingness to risk conflict, we could have the agent with less willingness to risk making a concession. 29/03/2017

46 La estrategia de Zeuthen
29/03/2017 La estrategia de Zeuthen Disposición para arriesgar el conflicto: Riesgo: pérdida relativa máxima si el agente A cede en la ronda t Idea: el agente con el menor riesgo (el que realizaría la menor perdida relativa máxima) debería ceder Riesgo(A,t) = Pérdida máxima de A si cede (y acepta la oferta de B) Pérdida máxima de A (si no cede y se llega a un conflicto) La estrategia de Zeuthen: Calcular el propio Riesgo(A,t) y el del contrario (Riesgo(B,t)) Si el propio riesgo es igual o más pequeño que el del contrario, entonces hacer la oferta mínima suficiente suficiente: cambia la balanza de riesgos (después el contrario tiene el menor riesgo) mínima: elegir la oferta que minimice la propia pérdida de utilidad De lo contrario, no ceder (repetir la misma oferta) Agent i’s willingness to risk conflict at round t. 29/03/2017

47 La estrategia de Zeuthen
29/03/2017 La estrategia de Zeuthen Propiedades ”postitivas”: Distribución: si no se requiere un “árbitro” centralizado Convergencia: si se llega a un acuerdo o desacuerdo en un número finito de rondas Eficiencia: si ninguna oferta es dominada por otra (sólo se eligen del conjunto de negociación) Propiedades ”negativas”: Simplicidad: no Se exploran casi todos las posibles ofertas del conjunto de negociación Estabilidad: no Si un agente sabe que su contrario juega la estrategia de Zeuthen, puede aprovecharse de ello Aunque este caso sólo se da en la última ronda … Agent i’s willingness to risk conflict at round t. 29/03/2017

48 La estrategia de Zeuthen
29/03/2017 La estrategia de Zeuthen Si no se está en la última ronda, y el agente A juega la estrategia de Zeuthen, la mejor opción para el agente B es jugarla también Riesgo(A,t) > Riesgo(B,t) y B no cede: Se llega a un conflicto y, por tanto, saca beneficio mínimo Riesgo(A,t) ≥ Riesgo(B,t) y B no cede, o hace una concesión insuficiente Agente A no hará concesiones hasta que B ceda más. De lo contrario, se llega a un conflicto (situación a) Riesgo(A,t) ≥ Riesgo(B,t) y B hace una concesión suficiente pero no mínima Agente B podría haber obtenido más cediendo menos (con la concesión mínima tampoco se habría llegado a un conflicto) Riesgo(A,t) < Riesgo(B,t) y B hace una concesión Agente B podría haber obtenido si no hubiera cedido menos (porque A cede en todo caso) Si se está en la última ronda, y los niveles de riesgo de A y B son iguales, B puede aprovecharse del hecho de que sabe que A juega la estrategia de Zeuthen, y no ceder Solución: en la estrategia extendida de Zeuthen, si se da el anterior caso, se tira una moneda para determinar quién ha de ceder … Agent i’s willingness to risk conflict at round t. 29/03/2017

49 La estrategia extendida de Zeuthen
29/03/2017 La estrategia extendida de Zeuthen La estrategia extendida de Zeuthen está en un equilibrio simétrico de Nash Sabiendo que el contrario usa dicha estrategia, la mejor opción para un agente es aplicar también la estrategia extendida de Zeuthen Zlotkin & Rosenschein, 1994: “This is of particular interest to the designer of automated agents. It does away with any need for secrecy on the part of the programmer. An agent’s strategy can be publicly known, and no other agent designer can exploit the information by choosing a different strategy. In fact, it is desirable that the strategy be known, to avoid inadvertent conflicts.” Agent i’s willingness to risk conflict at round t. 29/03/2017

50 Dominios orientados a tareas: Ejemplos
29/03/2017 Dominios orientados a tareas: Ejemplos Dominios orientados a tareas: Un grupo de agentes puede redistribuir tareas entre sí (sin efectos secundarios) pueden beneficiarse si llegan a un acuerdo, pero cada uno prefiere un acuerdo diferente Repartición de correo: Varios repartidores de correo han de entregar cartas en diferentes partes de la ciudad. Cada repartidor quiere minimizar el camino que tiene que recorrer, y una forma de hacerlo es intercambiar cartas con sus compañeros Consultas en Bases de Datos: Varios agentes tienen acceso a una Base de Datos común, y cada uno ha de realizar una serie de consultas. Podrán coordinar sus (sub-)queries para maximizar la eficiencia de sus consultas (Join, Proyección, Unión, Intersección, …) . 29/03/2017

51 Dominios Orientados a Tareas
29/03/2017 Dominios Orientados a Tareas Definición: Un dominio orientado a tareas (DOT) es una tripleta (T, Ag, c) tal que: T es un conjunto finito tareas; Ag = {A1, A2,…, An} es un conjunto finito de agentes; c:(T)R+, c() = 0, es una función mónotona creciente que define el coste para ejecutar cualquier subconjunto de tareas Nótese: Quedarse quieto no cuesta nada (c() = 0) Cuánto más tareas se ejecutan, más coste se genera (c es monótona creciente) El coste de ejecutar cada subconjunto de tareas no depende de quién las lleva a cabo (situación idealizada) 29/03/2017

52 29/03/2017 Utilidad de Tratos Definición: dado un DOT con dos agentes (T, {A1,A2}, c), un encuentro dentro del DOT es un vector (T1, T2) tal que para todo k, Tk  T. un trato d = (D1, D2) en un encuentro (T1, T2) es una redistribución de tareas entre agentes, tal que D1  D2 = T1  T2 el trato  = (T1, T2) se llama trato conflicto Nótese: el trato conflicto  modela que no hay acuerdo entre agentes (autonomía) 29/03/2017

53 Ejemplo: DOT Posibles tratos: ({a}, {b}) ({b}, {a}) ({a,b}, )
29/03/2017 Ejemplo: DOT Posibles tratos: ({a}, {b}) ({b}, {a}) ({a,b}, ) (, {a,b}) ({a}, {a,b}) ({b}, {a,b}) ({a,b}, {a}) ({a,b}, {b}) ({a,b}, {a,b}) Ejemplo: dominio: ({a,b},{1,2},c) encuentro: ({a},{a,b}) función de coste c: c()=0 c({a})=1 c({b})=1 c({a,b)}=3 trato conflicto inicio tarea a tarea b 1 29/03/2017

54 Utilityk()= c(Tk) - Costk()
29/03/2017 Utilidad de Tratos Definición: dado el DOT (T, {A1,A2}, c) y un trato d = (D1, D2) el coste Costk() del trato d para el agente k es Costk()=c(Dk) la utilidad Utilityk() del trato d para el agente k es Utilityk()= c(Tk) - Costk() Nótese: el coste del trato conflicto es el de realizar sus tareas sin ayuda (stand alone cost) la utilidad del trato conflicto para todos los agentes k es Utilityk()= 0 29/03/2017

55 Ejemplo: Función de Utilidad de los agentes
29/03/2017 Ejemplo: Función de Utilidad de los agentes Agente 1: Utility1({a}, {b}) = 0 Utility1({b}, {a}) = 0 Utility1({a,b}, ) = -2 Utility1(, {a,b}) = 1 Utility1({a}, {a,b}) = 0 Utility1({b}, {a,b}) = 0 Utility1({a,b}, {a}) = -2 Utility1({a,b}, {b}) = -2 Utility1({a,b}, {a,b}) = -2 Agente 2: Utility2({a}, {b}) =2 Utility2 ({b}, {a}) = 2 Utility2 ({a,b}, ) = 3 Utility2 (, {a,b}) = 0 Utility2 ({a}, {a,b}) = 0 Utility2 ({b}, {a,b}) = 0 Utility2 ({a,b}, {a}) = 2 Utility2 ({a,b}, {b}) = 2 Utility2 ({a,b}, {a,b}) = 0 29/03/2017

56 Conjunto de Negociación
29/03/2017 Conjunto de Negociación Definición: Un trato  domina el trato ' si  es mejor para al menos uno de los agentes, y no es peor para el otro, es decir  > ' si (1) k{1,2}, Utilityk() Utilityk(') y (2) k{1,2}, Utilityk()> Utilityk(') Trato  domina débilmente a ' (  ' ) si se cumple al menos la condición (1) Un trato  es individualmente racional si domina débilmente al trato conflicto, es decir si    Un trato  es Pareto-óptimo si no existe otro trato ' que lo domine .  (  ' ) El conjunto S de todos los tratos individualmente racionales y Pareto-óptimos se llama conjunto de negociación 29/03/2017

57 Ejemplo: Función de Utilidad de los agentes
29/03/2017 Ejemplo: Función de Utilidad de los agentes Posibles tratos: ({a}, {b}) ({b}, {a}) ({a,b}, ) (, {a,b}) ({a}, {a,b}) ({b}, {a,b}) ({a,b}, {a}) ({a,b}, {b}) ({a,b}, {a,b}) Pareto-óptimos: ({a}, {b}) ({b}, {a}) (, {a,b}) ({a,b}, ) Ind. racionales: ({a}, {b}) ({b}, {a}) (, {a,b}) ({a}, {a,b}) ({b}, {a,b}) Cjto de Negociación ({a}, {b}) ({b}, {a}) (, {a,b}) Utilidad (0,2) (1,0) 29/03/2017

58 Ejemplo de forma gráfica
29/03/2017 Ejemplo de forma gráfica Área de tratos individualmente racionales Utility2 Trato conflicto Trato ind. racional Trato Pareto-óptimo. Trato en conjunto de negociación Utility1 29/03/2017

59 El protocolo de concesiones monótonas en los DOT
29/03/2017 El protocolo de concesiones monótonas en los DOT Proceso de negociación: En cada instante t ≥ 0, el agente A ofrece el trato d(A,t) and B ofrece d(B,t), tal que Ambos tratos d(i,t) pertenecen al conjunto de negociación S UtilityB( d(A,t) ) ≥ UtilityB( d(A,t-1) ) UtilityA( d(B,t) ) ≥ UtilityA( d(B,t-1) ) Un agente “cede” si la relación es estricta Final de negociación: Conflicto: en algún instante t ningún agente cede Los agentes reciben la utilidad correspondiente al trato conflicto  (en los TOD: 0) Acuerdo: en algún instante t $ji{A,B}, Utilityj(d(i,t)) ≥ Utilityj(d(j,t)) La cond. se cumple para A  el resultado es d(B,t) La cond. se cumple para B  el resultado es d(A,t) La cond. se cumple para ambos  elige d(k,t) tal que P(d(k,t))=max{P(d(A,t)),P(d(B,t))} 29/03/2017

60 La estrategia de Zeuthen en los DOT
29/03/2017 La estrategia de Zeuthen en los DOT Riesgo: En los DOT, Utilityi( ) = 0 en cualquier instante t del proceso de negociación: 0  Risk(i,t)  1 en cualquier instante t, si i cede entonces Risk(k,t) baja más que Risk(i,t) Ronda inicial: d(i,0) = arg max {Utilityi( d ): dS } Demás rondas: d(i,t) = d(i,t-1) si Risk(i,t-1) > Risk(k,t-1) d(i,t) = arg max{Utilityi(d): dS  Risk(k,t)  Risk(i,t) } si Risk(i,t-1)  Risk(k,t-1) 29/03/2017

61 Negociación con la estrategia de Zeuthen
29/03/2017 Negociación con la estrategia de Zeuthen Ejemplo: 11 tratos en el conjunto de negociación, denominados de d0 a d10 Utilidad del trato di : 29/03/2017

62 Utilidad de Tratos Mixtos
29/03/2017 Utilidad de Tratos Mixtos Definición: dado un DOT con dos agentes (T, {A1,A2}, c), un trato mixto [(D1,D2) : p] equivale al trato (D1,D2) con probabilidad p al trato (D2,D1) con probabilidad 1p el coste de un trato mixto [(Dk,Dj) : p] para el agente k es Costk([(Dk,Dj) : p] )= p c(Dk) + (1p) c(Dj) la utilidad de un trato mixto [d : p] para el agente k es Utilityk([d : p])= c(Tk) - Costk([d : p]) las nociones de Racionalidad Individual, Optimalidad de Pareto, y Conjunto de Negociación S siguen igual 29/03/2017

63 Ejemplo de forma gráfica
29/03/2017 Ejemplo de forma gráfica Utility2 [ ({a},{a,b}) : 0.5 ] Trato conflicto Tratos individualmente racionales Trato ind. racional Trato Pareto-óptimo. Trato en conjunto de negociación Utility1 Conjunto de negociación con tratos mixtos 29/03/2017

64 El resultado de proceso de regateo
29/03/2017 El resultado de proceso de regateo Teorema (Harsanyi): Si ambos agentes utilizan la estrategia de Zeuthen, llegarán a un acuerdo que maximiza el producto de sus respectivas utilidades Protocolo de paso único: Los dos agentes hacen simultáneamente una única oferta Sólo se permiten ofertas que maximicen el producto de las utilidades Si ambas ofertas la maximizan, se elige una de forma arbitraria Propiedades este protocolo es estable y más eficiente, aunque menos intuitivo… 29/03/2017

65 Información incompleta
29/03/2017 Información incompleta Dominio de los carteros: Dos agentes, A1 y A2, cada uno con un conjunto de cartas que entregar Coste de un agente: entregar todas sus cartas desde la oficina de correos (casilla a), y volver allí (distancia entre casillas igual a 1) En principio, los agentes sólo conocen su propio conjunto de cartas, por lo que no pueden computar un trato directamente Se intercambia la información respecto a las cartas de cada uno antes de “negociar” b Situación 1: los dos dicen la verdad los dos tendrían que dar toda la vuelta Resultado (según Teorema de Nash): d = [({b,e,f},{}): 1/2] y UtilityA1(d) = 4 Posibilidades de engañar: Tareas ocultas: no declarar tareas que uno tiene asignadas Tareas fantasma: pretender tener que realizar tareas que no le han sido asignados a uno 29/03/2017

66 Engaño: tareas ocultas
29/03/2017 Engaño: tareas ocultas Situación 2a: A1 miente y no declara f pero sólo se permiten tratos puros A2 tendría que dar toda la vuelta, mientras que A1 sólo tendría que ir a f y volver A2 llevaría la carta de A1, puesto que esto beneficia a A1 sin perjudicar a A2 (Optimalidad de Pareto) Resultado (perspectiva de A2): d* = ({},{e,f}) Luego, A1 sólo tendrá que llevar la carta oculta a b (coste 2) Resultado (perspectiva de A1): UtilityA1(d) = = 6 ¡Mentir es beneficioso! 29/03/2017

67 Engaño: tareas ocultas
29/03/2017 Engaño: tareas ocultas Situación 2b: A1 miente y no declara f y se permiten tratos mixtos Teorema de Nash: se elige d* = [({e,f},{}): p] tal que p maximiza la función p*(-2,8) + (1-p)(6,0) Resultado (perspectiva de A2): d* = [({e,f},{}): 3/8] En realidad: Stand alone cost real de A1 : 8 Coste real del trato para A1: 3/8 * /8 * 2 Resultado (perspectiva de A1): UtilityA1(d) = 8 - (34/8) = 33/4 ¡En este caso, mentir no beneficia a A1! 29/03/2017

68 Engaño: tareas fantasma
29/03/2017 Engaño: tareas fantasma Ejemplo: Dominio de los carteros Dos agentes, A1 y A2, cada uno con dos cartas que entregar en b y c respectivamente Coste para un agente: en función de la distancia recorrida (diferentes para las distintas casillas) Si ambos declaran la verdad: se tira una moneda para asignar las tareas A1 miente en tratos puros: A1 miente en tratos mixtos: 29/03/2017

69 29/03/2017 Otros dominios La características de una negociación no sólo dependen del mecanismo (protocolo) empleado, sino también del dominio Dominios orientados a metas (goal-oriented domains): Efectos laterales cualitativos de las acciones Ejemplo: mundo (síncrono) de los bloques Dominios orientados al valor (worth-oriented domains): Efectos laterales cuantitativos de las acciones Ejemplo: escenarios económicos 29/03/2017

70 Argumentación Argumentación:
29/03/2017 Argumentación Argumentación: Muchas veces un conflicto de interés es sólo aparente porque a un agente le falta información porque a un agente no llegar a una conclusión cierta/ ha sacado una conclusión equivocada de su información La argumentación es el proceso de intentar convencer a los demás de la veracidad de un hecho Modos de argumentación (Gilbert,1994): Modo lógico: “Si aceptas A y que A implica B, entonces debes aceptar B” Modo emocional: “Cómo te sentirías si eso te sucediera a ti?” Modo visceral : “¡Cretino!” Modo “Kisceral”: “¡Esto es un dogma cristiano!” 29/03/2017

71 Modelo Lógico de Argumentación
29/03/2017 Modelo Lógico de Argumentación Definición: un argumento BBDD |- (Sentencia, Razones) consta de tres partes: BBDD es un conjunto de formulas lógicas (probablemente inconsistente) Sentencia es una formula lógica conocida como conclusión Razones es un conjunto de formulas lógicas tal que: Razones  BBDD; y Sentencia se puede derivar de Razones Definición: sean (f1, G1) y (f2, G2) son argumentos apoyados en alguna BBDD D, entonces (f2, G2) puede ser rechazado (atacado) de dos formas: (f1, G1) refuta (rebuts) (f2, G2) si f1  f2 (f1, G1) mina (undercuts) (f2, G2) si f1  y2 para algún y  G2 Los dos casos se resumen bajo el término ataque 29/03/2017

72 Modelo Lógico de Argumentación
29/03/2017 Modelo Lógico de Argumentación Ejemplo: Los argumentos Arg1 y Arg2 se refutan mutuamente El argumento Arg3 mina al argumento Arg2 Sobre esta base se puede definir diferentes clases que definen la “fuerza” de los argumentos … Se usa esencialmente en sistemas de diálogos para argumentación 29/03/2017

73 Otras mecanismos para lograr acuerdos
29/03/2017 Otras mecanismos para lograr acuerdos Votaciones: cada agente tiene una relación de preferencia sobre un conjunto de posibles acuerdos se elige una alternativa según un protocolo de votación Formación de coaliciones: agentes pueden formar coaliciones (subgrupos) cooperan con los miembros de su coalición, y compiten con los demás cuestiones: ¿Cuál es la estructura de coaliciones? ¿Cuál es el valor de cada coalición? ¿Cómo se reparte el valor de una coalición entre sus miembros? Mecanismos de mercado: búsqueda distribuida para el equilibrio general de un mercado ejemplo: Distributed price tâtonnement 29/03/2017

74 La Coordinación en los Sistemas Multiagente
29/03/2017 La Coordinación en los Sistemas Multiagente Indice: 1. Introducción 2. Negociación y Argumentación 3. Bibliografía 29/03/2017 -74-

75 29/03/2017 Bibliografía General Ana Mas: Agentes software y sistemas multiagente. Conceptos, arquitecturas y aplicaciones; Pearson, 2004, Capítulo 4 Wooldridge, M.: An Introduction to Multiagent Systems, Wiley, Capítulos 6, 7, y 9. Rosenschein, J.; Zlotkin, G.: Rules of Encounter. MIT Press, Capítulos 3 y 4 29/03/2017

76 29/03/2017 Trabajo 8.1 Gmytrasiewicz, P.; Durfee, E.; Wehe, D. (1991): The Utility of Communication in Co-ordinating Intelligent Agents. Proc. Nat. Conf. on Artificial Intelligence (AAAI-91), pp. 166–172 Gmytrasiewicz, P.; Durfee, E. (2000). Rational Coordination in Multiagent Systems. Autonomous Agents and Multi-Agent Systems  Vol. 3, No. 4, Springer,   Gmytrasiewicz, P.; Durfee, E. (2001). Rational Communication in Multiagent Systems. Autonomous Agents and Multi-Agent Systems  Vol. 4, No. 3, Springer ,   29/03/2017

77 29/03/2017 Trabajo 8.2 Rosenschein, J.; Zlotkin, G.: Rules of Encounter. MIT Press, Capítulos 5 y 6 Zlotkin, G. and Rosenschein, J.S.: Mechanisms for Automated Negotiation in State Oriented Domains. Journal of Artificial Intelligence Research, Volume 5, 1996, pp 29/03/2017

78 29/03/2017 Trabajo 8.3 Wooldridge, M.: An Introduction to Multiagent Systems, Wiley, 2002, págs Sycara, K.: Persuasive Argumentation in Negotiation, Theory and Decision, Vol.28, No. 3, May, 1990, págs Jennings, N. et al.: Automated Negotiation: Prospects, methods, challenges. Int. Journal of Group Decision and Negotiation 10(2). 2001, págs Reed, C.: Dialogue frames in agent communications. Proc. Inf. Conf on Multiagent Systems (ICMAS), 1998, págs Amgoud, L. et al.: Modelling dialogues using argumentation. Proc. Inf. Conf on Multiagent Systems (ICMAS), 2000, págs 29/03/2017