La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

06/05/2014 Sistemas Multiagente Sesión 2: Coordinación Negociación y Argumentación Curso 2008/2009 Ramón Hermoso 1.

Presentaciones similares


Presentación del tema: "06/05/2014 Sistemas Multiagente Sesión 2: Coordinación Negociación y Argumentación Curso 2008/2009 Ramón Hermoso 1."— Transcripción de la presentación:

1 06/05/2014 Sistemas Multiagente Sesión 2: Coordinación Negociación y Argumentación Curso 2008/2009 Ramón Hermoso 1

2 La Coordinación en los Sistemas Multiagente 1. Introducción 2. Negociación y Argumentación 3. Bibliografía 2 Indice: 06/05/20142

3 ¿Qué es la Coordinación? Concepto universal: Ciencias Sociales, Economía, Biología, … Robótica, Ingeniería del Software, Lenguajes de Programación, Inteligencia Artificial (Distribuida), … Semántica borrosa: Múltiples definiciones ¡Esto no es coordinación! Coordinación en los Sistemas Multiagente (SMA): la coordinación es un problema clave en la construcción de SMAs la capacidad para coordinarse es una característica esencial de un agente 06/05/20143

4 La coordinación en los SMA: perspectivas diferentes Diseño a nivel macro Diseño a nivel micro Varios diseñadores de agentesUn diseñador de agentes Interés del diseñador en la coordinación Un diseñador de agentes –agentes benévolos –diseñar todo un sistema de resolución de problemas La coordinación es la integración y el ajuste del trabajo individual con el fin de alcanzar una meta mayor (B. Singh) Diseño a nivel macro –construir sistemas de múltiples agentes con características deseadas 06/05/20144

5 Coordinación a nivel macro: Resolución Dist. de Problemas Ejemplo: Gestión de tráfico rodado –red de autopistas urbanas –Construir un sistema que genere planes de señalización en función del estado del tráfico 06/05/20145

6 Arquitectura TRYS (Cuena et al.): agentes de resolución de problemas cada agente es responsable de un área problema genera planes alternativos de señalización local y los comunica al agente coordinador agente coordinador resuelve las interdependencias entre los planes locales envía los planes locales adaptados a los agentes para su ejecución 06/05/2014 Coordinación a nivel macro: Resolución Dist. de Problemas

7 La coordinación en los SMA: perspectivas diferentes Diseño a nivel micro Varios diseñadores de agentes Interés del diseñador en la coordinación Un diseñador de agentes –agentes benévolos –diseñar todo un sistema de resolución de problemas Diseño a nivel macro –construir sistemas de múltiples agentes con características deseadas Diseño a nivel micro –en un entorno abierto con múltiples agentes –diseñar un agente adicional con características deseadas La coordinación es una forma de adaptarse al entorno (von Martial) 06/05/20147

8 Coordinación a nivel micro Ejemplo: Agente R 1 ha de vigilar una zona existen dos puntos de observación (P 1 y P 2 ) suponen un valor (altura) y un coste (distancia) acciones: A 1 (ir a P 1 ), A 2 (ir a P 2 ) y N (nada) Coste: 1 P1P2 R1 Valor: 2 Valor: 4 Coste:2 Mundo multiagente junto con R 2 : –Utilidad: U Ri (A i ) = valor ({P i,P j }) – coste(A i ) –R 1 conoce sus tres acciones alternativas y sus consecuencias –R 1 no sabe si R 2 es consciente de tener la alternativa A 2 Coste: 1 R2 06/05/20148

9 1 4 11/3 [1/3, 1/3, 1/3] A1 A2 N A1A2N R1 R2 [0.5, 0.5] 0–0 ––– 2–0 A1 A2 N A1A2N R1 R2 Modelo de R1 de su propia situación R1 no sabe qué modelo R2 tiene de él Modelo de R1 sobre las posibles acciones de R A1 A2 N A1A2N R1 R2 [0.25, 0.75] p=0.75 p=0.25 R2 no sabe de P2 R2 sabe de P2 Método RMM (Gmytrasievicz y Durfee): 06/05/20149 Coordinación a nivel micro

10 La coordinación en los SMA: perspectivas diferentes Diseño a nivel micro Varios diseñadores de agentes Interés del diseñador en la coordinación Un diseñador de agentes –agentes benévolos –diseñar todo un sistema de resolución de problemas Diseño a nivel micro –en un entorno abierto con múltiples agentes –diseñar un agente adicional con características deseadas Diseño a nivel macro –construir sistemas de múltiples agentes con características deseadas Coordinar es gobernar la interacción (Wegener ) Varios diseñadores de agentes –no se puede ejercer un control directo sobre los agentes –diseñar el contexto del sistema 06/05/201410

11 Coordinación a nivel macro: Sociedades de Agentes Mecanismo de subasta: –un agente usuario comunica las características de la llamada a los distintos agentes empresa –cada agente empresa contesta con una oferta (precio por minuto) –el agente usuario elige una oferta en base a una convención Ejemplo: Comercio Electrónico (Rosenschein y Zlotkin): –asignación de llamadas telefónicas a compañías de telecomunicación –objetivo: evitar comportamiento estratégico entre compañías 06/05/201411

12 Convención 1: elegir la mejor compañía y pagar el precio de la oferta más baja problema: promociona el comportamiento estratégico 06/05/ Coordinación a nivel macro: Sociedades de Agentes Convención 2: elegir la mejor compañía y pagar el precio de la segunda oferta más baja elimina incentivos para el comportamiento estratégico

13 La Coordinación en los Sistemas Multiagente 1. Introducción 2. Negociación y Argumentación 3. Bibliografía Indice: 06/05/201413

14 Coordinación 06/05/201414

15 Coordinar es Gestionar Dependencias Tareas de coordinación: definición del contexto de coordinación: agentes, metas, tareas, capacidades, etc. detección de dependencias: recursos compartidos, productor/consumidor etc. decisión de gestión: secuenciación temporal, selección de recursos etc. t1t1 t2t2 t3t3 t t 1, 1 t 1, 2 t 1, 3 t 3, 3 t 3, 2 t 3, 1 t' 1 t' 2 t' t' 1,1 t' 1,2 t' 1,3 t' 2,1 t' 2,2 t' 2,3 Agente 1 Agente 2 local type A type B Coordinación: gestión de dependencias (Malone y Crowston) 06/05/201415

16 La coordinación en entornos abiertos Diseño de Sistemas de Agentes para Negociación Un diseñador de agentes –agentes benévolos –diseñar todo un sistema de resolución de problemas Diseño a nivel micro –en un entorno abierto con múltiples agentes –diseñar un agente adicional con características deseadas Diseño a nivel macro –construir sistemas de múltiples agentes con características deseadas Varios diseñadores de agentes –no se puede ejercer un control directo sobre los agentes –diseñar el contexto del sistema Diseño de protocolos Diseño de estrategias Un diseñador de agentes –agentes benévolos –diseñar todo un sistema de resolución de problemas 06/05/201416

17 Situaciones con múltiples decisores: Juegos Modelos cuantitativos de coordinación Las dependencias se compilan en funciones de utilidad multi-atributo Un agente sólo controla un subconjunto de atributos (o sólo uno) Juegos: En su versión más simple, se considera un juego en forma normal una tripleta (I,S,U), tal que I es un conjunto de n agentes (jugadores) S es el espacio de acciones (estrategias) conjuntas, pudiendo elegir cada agente de un conjunto finito de acciones (estrategias) individuales U es un conjunto de funciones de utilidad U i para cada jugador, tal que 06/05/201417

18 Escenarios antagónicos: Juegos de suma nula Un juego es de suma nula cuando en toda estrategia conjunta se compensan exactamente las ganancias de unos jugadores con las pérdidas de otros, es decir: Si consideremos el caso particular de un juego bipersonal de suma nula, la fórmula anterior se reduce a la siguiente afirmación: 06/05/201418

19 Escenarios parcialmente cooperativos: Juegos de suma no constante Juegos de suma no constante: representan entornos en los que los intereses de los jugadores no son totalmente antagónicos hay estrategias conjuntas de las que se pueden beneficiar ambos jugadores: Matriz de juego: representación de un juego de suma no constante con dos jugadores las filas representan las posibles acciones del agente 1, mientras que las columnas indican las posibilidades de elección del jugador 2 las celdas de la matriz contienen pares de números, que indican los valores de utilidad de cada uno de los jugadores 06/05/201419

20 Ejemplo: Dilema de Prisionero Dos cautivos, de los que existe suficiente evidencia incriminatoria, son sometidos de forma separada a un interrogatorio. Estrategias alternativas de actuación: confesar el crimen del que se le acusa (defect, D ) callarse (cooperate,C ). Resultados de la actuación: ninguno confiesa: serán condenados a un año en la cárcel por una fechoría menor ambos confiesan: afrontarán 5 años de cárcel uno confiesa y el otro se calla: al primero se le perdonará la fechoría menor, y será liberado gracias a su colaboración, mientras que el último será recluido durante 10 años Nota: Muchas situaciones de la vida real tienen las características del Dilema de los Prisioneros (arms-race, free-rider, etc.) 06/05/2014 Escenarios parcialmente cooperativos: Juegos de suma no constante

21 Utilidades Interpretando los años en la cárcel como valores negativos de utilidad U 1 (D,D) = -5 U 1 (D,C) = 0 U 1 (C,D) = -10 U 1 (C,C) = -1 U 2 (D,D) = -5 U 2 (D,C) = -10 U 2 (C,D) = 0 U 2 (C,C) = -1 CD C(-1,-1)(-10,0) D(0,-10)(-5,-5) Matriz del juego : Preferencias Agente 1: (D,C) > 1 (C,C) > 1 (D,D) > 1 (C,D) Agente 2: (C,D) > 2 (C,C) > 2 (D,D) > 2 (D,C) 06/05/2014 Escenarios parcialmente cooperativos: Juegos de suma no constante

22 Evaluación del Dilema del Prisionero Contexto: los agentes no pueden comunicarse, y en particular no pueden llegar a acuerdos respecto a las acciones que tomar, o al reparto de las utilidades obtenidas. Estrategia racional: cada convicto prefiere confesar (D) en vez de callarse (C). Seguridad: Si elige C corre el riesgo de ser recluido por 10 años, mientras que al hacer D la penalización máxima es de 5 años. D domina a C: Si el compañero juega D, lo mejor que puede hacer el agente es jugar D también, puesto que en este caso sólo iría 5 y no 10 años a la cárcel. Si el otro convicto se calla (C), la mejor opción será confesar (D), puesto que así la potencial condena de un año se convierte en nada 06/05/2014

23 Equilibrio de Nash Definición: Un conjunto de acciones está en equilibrio de Nash si ningún agente tiene incentivos para desviarse de él de forma individual ningún agente puede incrementar su utilidad cambiando unilateralmente su acción. Formalmente, si * es un equilibrio de Nash entonces Dependiendo del juego puede haber uno, varios, o ningún equilibrio de Nash 06/05/2014

24 Soluciones al Dilema del Prisionero Dilema del Prisionero: El único equilibrio de Nash es (D,D), por lo que ambos acusados acabarán por 5 años en la cárcel Pero la opción (D,D) no es (Pareto-)eficiente … (C,C) domina a (D,D) Cada agente podría estar mejor sin que el otro estuviera peor Soluciones: Modificar el concepto de racionalidad: altruismo, generosidad, etc. Dilema del Prisionero Iterado (con futuro abierto): Torneo de Axelrod: gana la estrategia Tit-for-Tat Establecer condiciones para que se pueda llegar a acuerdos creíbles 06/05/2014

25 Modelos de Negociación 1. Introducción 2. Modelos de Negociación 2.1. Subastas 2.2. Regateo 2.3. Argumentación 3.Bibliografía Indice: 06/05/201425

26 Negociación Objetivo: determinar (las condiciones de) un acuerdo entre, al menos, dos agentes Tipos de negociación: Subastas Adjudicar productos y tareas a través de un mercado n participantes, transacción entre 2 Regateo Llegar a un acuerdo entre todos los participantes Argumentación Resolver (supuestos) conflictos a través del debate Rules of Encounter Rosenschein and Zlotkin, /05/201426

27 Subastas Mecanismo estructurado para forjar acuerdos Protocolo: semi-distribuido, con diferentes roles 1 subastador N subasteros Estrategias: pujas de los subasteros Precio inicial, precio de reserva, etc., del subastador No muy frecuentes en la realidad, pero sí bastante populares en Comercio Electrónico (p.e. eBay) 06/05/201427

28 Subasta inglesa Inicio: el subastador ofrece un producto a un precio inicial (usualmente por debajo de un precio mínimo privado) Apuestas: los subasteros van ofertando precios (ninguna, una, o varias veces) cada oferta tiene que superar todas las anteriores el ciclo de apuestas termina cuando no hay más ofertas Adjudicación: si la última oferta alcanza el precio mínimo (privado) del subastador, el producto es adjudicado al subastero de la oferta más alta de lo contrario no se vende el producto (el subastador tiene la última palabra!!!) 06/05/201428

29 Subasta inglesa entre agentes: Protocolo FIPA En los subastas de agentes, los participantes no están físicamente presentes en una sala de subasta reject-proposal: pueden llegar pujas ilegales, p.ej. por retardos en la red cfp: anunciar cada nueva ronda de pujas con el precio actual inform: informar a todos los participantes sobre el resultado de la subasta request: requerir que el ganador realice la transacción 06/05/201429

30 Subasta holandesa Se usa en mercados de flores holandesas para determinar el precio de una cantidad de flores Inicio: el subastador ofrece una cantidad de un producto a un precio inicial (usualmente por encima de un precio mínimo privado) Apuestas: cada tiempo (Dt) disminuye el precio en una cantidad (D$) cada oferta especifica la cantidad del producto a comprar al precio actual el subastador determina el final de la subasta (o bien porque toda la cantidad ha sido adjudicada, o bien porque se alcanza el precio mínimo privado) Adjudicación: la adjudicación de cada oferta a los subastaros es directa el subastador informa del final de la subasta 06/05/201430

31 Subasta holandesa entre agentes: Protocolo FIPA En los subastas entre agentes, los participantes no están físicamente presentes en una sala de subasta reject-proposal: si llegan pujas ilegales o a la vez accept-proposal: ya que la adjudicación es directa, la aceptación de una puja implica la realización de la transacción inform: del final de la subasta 06/05/201431

32 Subasta first-price sealed bid: elegir la mejor compañía y pagar el precio de la oferta más baja Ejemplos de subasta one-shot Subastas one-shot Sólo hay una oportunidad para hacer ofertas (i.e. el proceso no es iterativo) Ejemplo de la asignación de llamadas telefónicas (véase introducción) 06/05/ Subasta Vickrey: elegir la mejor compañía y pagar el precio de la segunda oferta más baja

33 Subastas one-shot: Modelado con protocolos FIPA No existen protocolos específicos para subastas one-shot en FIPA IPL Sin embargo, dichas subastas se pueden simular sobre la base de la Red de Contratos El protocolo Red de Contratos (Contract Net) es un mecanismo clásico de la IA Distribuida para la asignación de tareas 06/05/201433

34 Subastas de venta y de compra Subastas de venta: 1 vendedor, n compradores Ejemplos: subasta inglesa y holandesa tradicionales Subastas de compra 1 comprador, n vendedores variaciones de las subastas descritas: –subasta inglesa de precio descendente –subasta holandesa de precio ascendente 06/05/201434

35 Tipos de Protocolos de Subasta Tipo de ofertas: abierto (open-cry): los subasteros conocen mutuamente sus ofertas privado/cerrado (sealed-bid): los subasteros sólo conocen sus propias ofertas Proceso de ofertas: una vuelta (one-shot): los subasteros sólo dan una oferta directa (forward): el precio de las ofertas va ascendiendo inversa (reverse): el precio de las ofertas va descendiendo Proceso de adjudicación: ¿Qué oferta se usa para determinar el precio que ha de pagar el ganador? (first-price, second-price, …) Ejemplos: Subasta inglesa (tradicional): first-price open-cry (forward) Subasta holandesa (tradicional): first-price open-cry (reverse) Subasta Vickrey: one-shot second-price sealed-bid 06/05/201435

36 Tipos de Escenarios de Subasta valor público (común): el valor del producto sólo depende de las preferencias de los demás subasteros (valor consiste únicamente en la reventa) p.e.: billete de un dólar valor privado: el valor del producto sólo depende de las propias preferencias del subastero (no hay posibilidad de reventa) p.e. billete de un dólar gastado por John Lennon valor correlado: el valor del producto depende de las preferencias tanto del propio subasteros como de los demás p.e.: una obra de arte que sirve como decoración y como inversión mayoría de las escenarios reales (p.e. Comercio Electrónico) más propicios al análisis formal 06/05/201436

37 Algunos resultados sobre las subastas Subastas Vickrey : la estrategia dominante de un agente subastero en subastas Vickrey de valor privado es apostar su valor real El subastador pierde algo de utilidad (diferencia entre primer y segundo precio) Subastas first-price (p.ej. inglesa) El subastero recibe el precio de la oferta más alta Hay incentivos para que los subasteros no revelen su precio real (sino uno más bajo) 06/05/201437

38 Problemas Subastas Vickrey : subastador mentiroso: el subastador tiene incentivos para mentir respecto al precio de la segunda oferta más alta (ya que el subastero ganador la desconoce) revelación de información privada: los subasteros revelan su precio real, lo cual podrá ser utilizado por los demás subasteros en subastas futuras (de otro tipo) Todas las subastas : colusión entre subasteros: si los subasteros se conocen, hay incentivos para coordinar sus ofertas costes computacionales: costes de búsqueda en subastas interrelacionadas costes de recabar información en situaciones de incertidumbre 06/05/201438

39 Plataformas para subastas Fishmarket: Trading Agent Competition (TAC): … 06/05/2014

40 Negociación: Regateo Características: posibilidad de forjar acuerdos globales (creíbles) entre n agentes todos los agentes pueden beneficiarse de un acuerdo pero hay una diferencia de opinión con respecto a las características del acuerdo (qué acuerdo elegir) Elementos de un escenario de regateo Conjunto (espacio) de negociación: Todos los posibles acuerdos a los que se pueden llegar Ejemplo: todos los precios entre las expectativas iniciales de un comprador y un vendedor Protocolo de negociación: Reglas que determinan el proceso de negociación: ¿Cómo, cuándo, y qué ofertas se pueden hacer? ¿Cuándo termina la negociación y cuál es el resultado? Ejemplo: No se puede empeorar una oferta ya hecha Estrategia de negociación: Cómo elegir entre las diferentes acciones que permite el protocolo Ejemplo: Mejorar mi última oferta en 10% cada 5 minutos 06/05/201440

41 Objetivos de Diseño Diseño de estrategias: Racionalidad: maximizar las ganancias esperadas Eficiencia: minimizar el coste computacional para determinar una acción … Diseño de protocolos: Distribución: evitar que haya un cuello de botella (punto de fallo) Convergencia: garantizar que se llega a un acuerdo (o desacuerdo) en tiempo finito Simplicidad: fomentar que se llegue rápido a un acuerdo (o desacuerdo) Eficiencia: si se llega a un acuerdo, este no desperdicia utilidad Estabilidad: motivar a los agentes para elegir estrategias con características deseadas (estrategias dominantes, equilibrios de Nash) … 06/05/201441

42 Negocación: Regateo Regateo como proceso de oferta y contraoferta Regateo como proceso de concesiones mutuas Oferta Contraoferta Agente A i acepta Agente A i Agente A j Ofertas de A j Ofertas de A i Punto de acuerdo/ transacción 06/05/201442

43 El protocolo de concesiones monótonas (PCM) Protocolo PCM: El regateo se realiza por rondas En la ronda 1, cada agente propone simultáneamente un trato del conjunto de negociación Se llega a un acuerdo, si un agente considera que el trato propuesto por el otro es al menos tan bueno (para él) como el suyo. Si no hay acuerdo, se realiza una nueva ronda de propuestas. En la ronda u+1, ningún agente puede realizar una propuesta peor que en la ronda u. Si ningún agente cede, el regateo termina en desacuerdo. Diseño de estrategias: ¿Con qué propuesta empezar? ¿Cuándo (en qué ronda) hay que ceder? ¿Cuánto hay que ceder? 06/05/201443

44 La propuesta inicial Leo Baekeland sold the rights to his invention, Velox photographic printing paper, to Eastman Kodak in It was the first commercially successful photographic paper and he sold it to Eastman Kodak for $1 million. Baekeland had planned to ask $ and to go down to $ if necessary, but fortunately for him, Eastman spoke first. (Asimov, 1982) 06/05/201444

45 El factor riesgo Idea de estrategia: Empezar con el trato más favorable para uno mismo Determinar cuándo (y cuánto) ceder dependiendo de cuánto se puede perder en caso de conflicto (riesgo) mejor trato para A i mejor trato para A j trato conflicto Cuánto estoy dispuesto a arriesgar un conflicto? pérdida máxima en caso de conflicto pérdida máxima en caso de concesión 06/05/201445

46 La estrategia de Zeuthen Riesgo(A,t) = Pérdida máxima de A si cede (y acepta la oferta de B) Pérdida máxima de A (si no cede y se llega a un conflicto) Disposición para arriesgar el conflicto: Riesgo: pérdida relativa máxima si el agente A cede en la ronda t Idea: el agente con el menor riesgo (el que realizaría la menor perdida relativa máxima) debería ceder La estrategia de Zeuthen: Calcular el propio Riesgo(A,t) y el del contrario (Riesgo(B,t)) Si el propio riesgo es igual o más pequeño que el del contrario, entonces hacer la oferta mínima suficiente –suficiente: cambia la balanza de riesgos (después el contrario tiene el menor riesgo) –mínima: elegir la oferta que minimice la propia pérdida de utilidad De lo contrario, no ceder (repetir la misma oferta) 06/05/201446

47 La estrategia de Zeuthen Propiedades postitivas: Distribución: si –no se requiere un árbitro centralizado Convergencia: si –se llega a un acuerdo o desacuerdo en un número finito de rondas Eficiencia: si –ninguna oferta es dominada por otra (sólo se eligen del conjunto de negociación) Propiedades negativas: Simplicidad: no –Se exploran casi todos las posibles ofertas del conjunto de negociación Estabilidad: no –Si un agente sabe que su contrario juega la estrategia de Zeuthen, puede aprovecharse de ello –Aunque este caso sólo se da en la última ronda … 06/05/201447

48 La estrategia de Zeuthen Si no se está en la última ronda, y el agente A juega la estrategia de Zeuthen, la mejor opción para el agente B es jugarla también a)Riesgo(A,t) > Riesgo(B,t) y B no cede: Se llega a un conflicto y, por tanto, saca beneficio mínimo b)Riesgo(A,t) Riesgo(B,t) y B no cede, o hace una concesión insuficiente Agente A no hará concesiones hasta que B ceda más. De lo contrario, se llega a un conflicto (situación a) c)Riesgo(A,t) Riesgo(B,t) y B hace una concesión suficiente pero no mínima Agente B podría haber obtenido más cediendo menos (con la concesión mínima tampoco se habría llegado a un conflicto) d) Riesgo(A,t) < Riesgo(B,t) y B hace una concesión Agente B podría haber obtenido si no hubiera cedido menos (porque A cede en todo caso) Si se está en la última ronda, y los niveles de riesgo de A y B son iguales, B puede aprovecharse del hecho de que sabe que A juega la estrategia de Zeuthen, y no ceder Solución: en la estrategia extendida de Zeuthen, si se da el anterior caso, se tira una moneda para determinar quién ha de ceder … 06/05/201448

49 La estrategia extendida de Zeuthen La estrategia extendida de Zeuthen está en un equilibrio simétrico de Nash –Sabiendo que el contrario usa dicha estrategia, la mejor opción para un agente es aplicar también la estrategia extendida de Zeuthen Zlotkin & Rosenschein, 1994: This is of particular interest to the designer of automated agents. It does away with any need for secrecy on the part of the programmer. An agents strategy can be publicly known, and no other agent designer can exploit the information by choosing a different strategy. In fact, it is desirable that the strategy be known, to avoid inadvertent conflicts. 06/05/201449

50 Dominios orientados a tareas: Ejemplos Repartición de correo: –Varios repartidores de correo han de entregar cartas en diferentes partes de la ciudad. Cada repartidor quiere minimizar el camino que tiene que recorrer, y una forma de hacerlo es intercambiar cartas con sus compañeros Consultas en Bases de Datos: –Varios agentes tienen acceso a una Base de Datos común, y cada uno ha de realizar una serie de consultas. Podrán coordinar sus (sub-)queries para maximizar la eficiencia de sus consultas (Join, Proyección, Unión, Intersección, …). Dominios orientados a tareas: –Un grupo de agentes puede redistribuir tareas entre sí (sin efectos secundarios) –pueden beneficiarse si llegan a un acuerdo, pero cada uno prefiere un acuerdo diferente 06/05/201450

51 Dominios Orientados a Tareas Definición: Un dominio orientado a tareas (DOT) es una tripleta (T, Ag, c) tal que: T es un conjunto finito tareas; Ag = {A 1, A 2,…, A n } es un conjunto finito de agentes; c: (T) R +, c( ) = 0, es una función mónotona creciente que define el coste para ejecutar cualquier subconjunto de tareas Nótese: Quedarse quieto no cuesta nada (c( ) = 0) Cuánto más tareas se ejecutan, más coste se genera (c es monótona creciente) El coste de ejecutar cada subconjunto de tareas no depende de quién las lleva a cabo (situación idealizada) 06/05/201451

52 Utilidad de Tratos Definición: dado un DOT con dos agentes (T, {A 1,A 2 }, c), un encuentro dentro del DOT es un vector (T 1, T 2 ) tal que para todo k, T k T. un trato d = (D 1, D 2 ) en un encuentro (T 1, T 2 ) es una redistribución de tareas entre agentes, tal que D 1 D 2 = T 1 T 2 el trato = (T 1, T 2 ) se llama trato conflicto Nótese: el trato conflicto modela que no hay acuerdo entre agentes (autonomía) 06/05/201452

53 Ejemplo: DOT inicio tarea atarea b 11 Ejemplo: dominio: ({a,b},{1,2},c) encuentro: ({a},{a,b}) función de coste c: c( )=0 c({a})=1 c({b})=1 c({a,b)}=3 Posibles tratos: ({a}, {b}) ({b}, {a}) ({a,b}, ) (, {a,b}) ({a}, {a,b}) ({b}, {a,b}) ({a,b}, {a}) ({a,b}, {b}) ({a,b}, {a,b}) trato conflicto 06/05/201453

54 Utilidad de Tratos Definición: dado el DOT (T, {A 1,A 2 }, c) y un trato d = (D 1, D 2 ) el coste Cost k ( ) del trato d para el agente k es Cost k ( )=c(D k ) la utilidad Utility k ( ) del trato d para el agente k es Utility k ( )= c(T k ) - Cost k ( ) Nótese: el coste del trato conflicto es el de realizar sus tareas sin ayuda (stand alone cost) la utilidad del trato conflicto para todos los agentes k es Utility k ( )= 0 06/05/201454

55 Ejemplo: Función de Utilidad de los agentes Agente 1: Utility 1 ({a}, {b}) = 0 Utility 1 ({b}, {a}) = 0 Utility 1 ({a,b}, ) = -2 Utility 1 (, {a,b}) = 1 Utility 1 ({a}, {a,b}) = 0 Utility 1 ({b}, {a,b}) = 0 Utility 1 ({a,b}, {a}) = -2 Utility 1 ({a,b}, {b}) = -2 Utility 1 ({a,b}, {a,b}) = -2 Agente 2: Utility 2 ({a}, {b}) =2 Utility 2 ({b}, {a}) = 2 Utility 2 ({a,b}, ) = 3 Utility 2 (, {a,b}) = 0 Utility 2 ({a}, {a,b}) = 0 Utility 2 ({b}, {a,b}) = 0 Utility 2 ({a,b}, {a}) = 2 Utility 2 ({a,b}, {b}) = 2 Utility 2 ({a,b}, {a,b}) = 0 06/05/201455

56 Conjunto de Negociación Definición: Un trato domina el trato ' si es mejor para al menos uno de los agentes, y no es peor para el otro, es decir > ' si (1) k {1,2}, Utility k ( ) Utility k ( ') y (2) k {1,2}, Utility k ( )> Utility k ( ') Trato domina débilmente a ' ( ' ) si se cumple al menos la condición (1) Definición: Un trato es individualmente racional si domina débilmente al trato conflicto, es decir si Un trato es Pareto-óptimo si no existe otro trato ' que lo domine. ( ' ) El conjunto S de todos los tratos individualmente racionales y Pareto- óptimos se llama conjunto de negociación 06/05/201456

57 Ejemplo: Función de Utilidad de los agentes Posibles tratos: ({a}, {b}) ({b}, {a}) ({a,b}, ) (, {a,b}) ({a}, {a,b}) ({b}, {a,b}) ({a,b}, {a}) ({a,b}, {b}) ({a,b}, {a,b}) Ind. racionales: ({a}, {b}) ({b}, {a}) (, {a,b}) ({a}, {a,b}) ({b}, {a,b}) Pareto-óptimos: ({a}, {b}) ({b}, {a}) (, {a,b}) ({a,b}, ) Cjto de Negociación ({a}, {b}) ({b}, {a}) (, {a,b}) Utilidad (0,2) (1,0) 06/05/201457

58 Ejemplo de forma gráfica Utility 1 Utility 2 Trato conflicto Trato ind. racional Trato Pareto-óptimo. Trato en conjunto de negociación Área de tratos individualmente racionales 06/05/201458

59 El protocolo de concesiones monótonas en los DOT Proceso de negociación: En cada instante t 0, el agente A ofrece el trato d(A,t) and B ofrece d(B,t), tal que Ambos tratos d(i,t) pertenecen al conjunto de negociación S Utility B ( d(A,t) ) Utility B ( d(A,t-1) ) Utility A ( d(B,t) ) Utility A ( d(B,t-1) ) Un agente cede si la relación es estricta Final de negociación: Conflicto: en algún instante t ningún agente cede Los agentes reciben la utilidad correspondiente al trato conflicto (en los TOD: 0) Acuerdo: en algún instante t $j i {A,B}, Utility j (d(i,t)) Utility j (d(j,t)) La cond. se cumple para A el resultado es d(B,t) La cond. se cumple para B el resultado es d(A,t) La cond. se cumple para ambos elige d(k,t) tal que P(d(k,t))=max{P(d(A,t)),P(d(B,t))} 06/05/201459

60 La estrategia de Zeuthen en los DOT Riesgo: En los DOT, Utility i ( ) = 0 en cualquier instante t del proceso de negociación: 0 Risk(i,t) 1 en cualquier instante t, si i cede entonces Risk(k,t) baja más que Risk(i,t) Ronda inicial: d(i,0) = arg max {Utility i ( d ): d S } Demás rondas: d(i,t) = d(i,t-1) si Risk(i,t-1) > Risk(k,t-1) d(i,t) = arg max{Utility i (d): d S Risk(k,t) Risk(i,t) } si Risk(i,t-1) Risk(k,t-1) 06/05/2014

61 Negociación con la estrategia de Zeuthen Ejemplo: 11 tratos en el conjunto de negociación, denominados de d 0 a d 10 Utilidad del trato d i : 06/05/2014

62 Utilidad de Tratos Mixtos Definición: dado un DOT con dos agentes (T, {A 1,A 2 }, c), un trato mixto [(D 1,D 2 ) : p] equivale al trato (D 1,D 2 ) con probabilidad p al trato (D 2,D 1 ) con probabilidad 1 p el coste de un trato mixto [(D k,D j ) : p] para el agente k es Cost k ([(D k,D j ) : p] )= p c(D k ) + (1 p) c(D j ) la utilidad de un trato mixto [d : p] para el agente k es Utility k ([d : p])= c(T k ) - Cost k ([d : p]) las nociones de Racionalidad Individual, Optimalidad de Pareto, y Conjunto de Negociación S siguen igual 06/05/201462

63 Ejemplo de forma gráfica Utility 1 Utility 2 Trato conflicto Trato ind. racional Trato Pareto-óptimo. Trato en conjunto de negociación Tratos individualmente racionales Conjunto de negociación con tratos mixtos [ ({a},{a,b}) : 0.5 ] 06/05/201463

64 El resultado de proceso de regateo Teorema (Harsanyi): Si ambos agentes utilizan la estrategia de Zeuthen, llegarán a un acuerdo que maximiza el producto de sus respectivas utilidades Protocolo de paso único: Los dos agentes hacen simultáneamente una única oferta Sólo se permiten ofertas que maximicen el producto de las utilidades Si ambas ofertas la maximizan, se elige una de forma arbitraria Propiedades este protocolo es estable y más eficiente, aunque menos intuitivo… 06/05/201464

65 Información incompleta Dominio de los carteros: Dos agentes, A 1 y A 2, cada uno con un conjunto de cartas que entregar Coste de un agente: entregar todas sus cartas desde la oficina de correos (casilla a), y volver allí (distancia entre casillas igual a 1) En principio, los agentes sólo conocen su propio conjunto de cartas, por lo que no pueden computar un trato directamente Se intercambia la información respecto a las cartas de cada uno antes de negociar b Situación 1: los dos dicen la verdad los dos tendrían que dar toda la vuelta Resultado (según Teorema de Nash): = [({b,e,f},{}): ] y Utility A1 ( ) = 4 Posibilidades de engañar: Tareas ocultas: no declarar tareas que uno tiene asignadas Tareas fantasma: pretender tener que realizar tareas que no le han sido asignados a uno 06/05/2014

66 Engaño: tareas ocultas Situación 2a: A 1 miente y no declara f pero sólo se permiten tratos puros –A 2 tendría que dar toda la vuelta, mientras que A 1 sólo tendría que ir a f y volver –A 2 llevaría la carta de A 1, puesto que esto beneficia a A 1 sin perjudicar a A 2 (Optimalidad de Pareto) –Resultado (perspectiva de A 2 ): = ({},{e,f}) –Luego, A 1 sólo tendrá que llevar la carta oculta a b (coste 2) –Resultado (perspectiva de A 1 ): Utility A1 ( ) = 8 2 = 6 –¡Mentir es beneficioso! 06/05/2014

67 Engaño: tareas ocultas Situación 2b: A 1 miente y no declara f y se permiten tratos mixtos –Teorema de Nash: se elige = [({e,f},{}): p] tal que p maximiza la función p*(-2,8) + (1-p)(6,0) –Resultado (perspectiva de A 2 ): = [({e,f},{}): ] –En realidad: Stand alone cost real de A 1 : 8 Coste real del trato para A 1 : 3/8 * 8 + 5/8 * 2 –Resultado (perspectiva de A 1 ): Utility A1 ( ) = 8 (34/8) = 3 3 / 4 –¡En este caso, mentir no beneficia a A 1 ! 06/05/2014

68 Engaño: tareas fantasma Ejemplo: Dominio de los carteros Dos agentes, A 1 y A 2, cada uno con dos cartas que entregar en b y c respectivamente Coste para un agente: en función de la distancia recorrida (diferentes para las distintas casillas) Si ambos declaran la verdad: se tira una moneda para asignar las tareas A 1 miente en tratos puros: A 1 miente en tratos mixtos: 06/05/201468

69 Otros dominios La características de una negociación no sólo dependen del mecanismo (protocolo) empleado, sino también del dominio Dominios orientados a metas (goal-oriented domains): Efectos laterales cualitativos de las acciones Ejemplo: mundo (síncrono) de los bloques Dominios orientados al valor (worth-oriented domains): Efectos laterales cuantitativos de las acciones Ejemplo: escenarios económicos 06/05/201469

70 Argumentación Argumentación: Muchas veces un conflicto de interés es sólo aparente porque a un agente le falta información porque a un agente no llegar a una conclusión cierta/ ha sacado una conclusión equivocada de su información La argumentación es el proceso de intentar convencer a los demás de la veracidad de un hecho Modos de argumentación (Gilbert,1994): 1. Modo lógico: Si aceptas A y que A implica B, entonces debes aceptar B 2. Modo emocional: Cómo te sentirías si eso te sucediera a ti? 3. Modo visceral : ¡Cretino! 4. Modo Kisceral: ¡Esto es un dogma cristiano! 06/05/201470

71 Modelo Lógico de Argumentación Definición: un argumento BBDD |- (Sentencia, Razones) consta de tres partes: BBDD es un conjunto de formulas lógicas (probablemente inconsistente) Sentencia es una formula lógica conocida como conclusión Razones es un conjunto de formulas lógicas tal que: Razones BBDD; y Sentencia se puede derivar de Razones Definición: s ean (f 1, G 1 ) y (f 2, G 2 ) son argumentos apoyados en alguna BBDD D, entonces (f 2, G 2 ) puede ser rechazado (atacado) de dos formas: (f 1, G 1 ) refuta (rebuts) (f 2, G 2 ) si f 1 f 2 (f 1, G 1 ) mina (undercuts) (f 2, G 2 ) si f 1 y 2 para algún y G 2 Los dos casos se resumen bajo el término ataque 06/05/201471

72 Modelo Lógico de Argumentación Ejemplo: Los argumentos Arg 1 y Arg 2 se refutan mutuamente El argumento Arg 3 mina al argumento Arg 2 Sobre esta base se puede definir diferentes clases que definen la fuerza de los argumentos … Se usa esencialmente en sistemas de diálogos para argumentación 06/05/2014

73 Otras mecanismos para lograr acuerdos Votaciones: cada agente tiene una relación de preferencia sobre un conjunto de posibles acuerdos se elige una alternativa según un protocolo de votación Formación de coaliciones: agentes pueden formar coaliciones (subgrupos) cooperan con los miembros de su coalición, y compiten con los demás cuestiones: ¿Cuál es la estructura de coaliciones? ¿Cuál es el valor de cada coalición? ¿Cómo se reparte el valor de una coalición entre sus miembros? Mecanismos de mercado: búsqueda distribuida para el equilibrio general de un mercado ejemplo: Distributed price tâtonnement 06/05/201473

74 La Coordinación en los Sistemas Multiagente 1. Introducción 2. Negociación y Argumentación 3. Bibliografía 74 Indice: 06/05/201474

75 Bibliografía General Ana Mas: Agentes software y sistemas multiagente. Conceptos, arquitecturas y aplicaciones; Pearson, 2004, Capítulo 4 Wooldridge, M.: An Introduction to Multiagent Systems, Wiley, Capítulos 6, 7, y 9. Rosenschein, J.; Zlotkin, G.: Rules of Encounter. MIT Press, Capítulos 3 y 4 06/05/201475

76 Trabajo 8.1 Gmytrasiewicz, P.; Durfee, E.; Wehe, D. (1991): The Utility of Communication in Co-ordinating Intelligent Agents. Proc. Nat. Conf. on Artificial Intelligence (AAAI-91), pp. 166–172 Gmytrasiewicz, P.; Durfee, E. (2000). Rational Coordination in Multiagent Systems. Autonomous Agents and Multi-Agent Systems Vol. 3, No. 4, Springer, Gmytrasiewicz, P.; Durfee, E. (2001). Rational Communication in Multiagent Systems. Autonomous Agents and Multi-Agent Systems Vol. 4, No. 3, Springer, /05/201476

77 Trabajo 8.2 Rosenschein, J.; Zlotkin, G.: Rules of Encounter. MIT Press, Capítulos 5 y 6 Zlotkin, G. and Rosenschein, J.S.: Mechanisms for Automated Negotiation in State Oriented Domains. Journal of Artificial Intelligence Research, Volume 5, 1996, pp /05/201477

78 Trabajo 8.3 Wooldridge, M.: An Introduction to Multiagent Systems, Wiley, 2002, págs Sycara, K.: Persuasive Argumentation in Negotiation, Theory and Decision, Vol.28, No. 3, May, 1990, págs Jennings, N. et al.: Automated Negotiation: Prospects, methods, challenges. Int. Journal of Group Decision and Negotiation 10(2). 2001, págs Reed, C.: Dialogue frames in agent communications. Proc. Inf. Conf on Multiagent Systems (ICMAS), 1998, págs Amgoud, L. et al.: Modelling dialogues using argumentation. Proc. Inf. Conf on Multiagent Systems (ICMAS), 2000, págs /05/201478


Descargar ppt "06/05/2014 Sistemas Multiagente Sesión 2: Coordinación Negociación y Argumentación Curso 2008/2009 Ramón Hermoso 1."

Presentaciones similares


Anuncios Google