Koordinálás és feladatkiosztás aukciókkal. Intelligens Elosztott Rendszerek BME-MIT, 2018

Átírás

1 Koordinálás és feladatkiosztás aukciókkal Intelligens Elosztott Rendszerek BME-MIT, 08

2 Intelligens Elosztott Rendszerek BME-MIT, 08

3 Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

4 Tipikus koordinációs feladat: többágenses pályaterv Tételezzük fel, hogy ágensek (robotok) közel azonosak, (mi lenne, ha mégsem?) ismerik a saját pozíciójukat/állapotukat, (mi lenne, ha mégsem?) ismerik a célpontok pozícióját/igényeit, (mi lenne, ha mégsem?) nem szükségképpen ismerik az akadályokat, képesek a közeli akadályokat megfigyelni, (mi lenne, ha mégsem?) navigálása hibamentes, (mi lenne, ha mégsem?) pálya/feladatvégzés költségei: háromszög-egyenlőtlenség, (mi lenne, ha mégsem?) képesek egymással kommunikálni. (mi lenne, ha mégsem?) Intelligens Elosztott Rendszerek BME-MIT, 08

5 Áukción nyert Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

6 Magán optimálizált Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

7 Optimál team mégis Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

8 Induljunk neki Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

9 Intelligens Elosztott Rendszerek BME-MIT, 08 Hibák, kiesések, a közös feladat veszélyben! (3) X () () 3 X () 3 4 (5)

10 Intelligens Elosztott Rendszerek BME-MIT, 08 Újra indul az osztozkodás (3) X () () 3 X () 3 4 (5)

11 Intelligens Elosztott Rendszerek BME-MIT, 08 Újra indul az osztozkodás (3) X () () X () (5)

12 Intelligens Elosztott Rendszerek BME-MIT, 08 A közös feladat megmentett. Kicsit rosszabb hatékonysággal 4 (3) 5 X () () X () (5)

13 Miért éppen aukció? ismeretlen értékű objektumok értékesítése automatizálható tárgyalás komplexitását csökkenti kedvező a számítógépes implementáció tisztességes megoldás benyomását kelti Előnyök Koordinálás aukcióval Koordinálás Aukció ágens feladat költség licitáló licit objektuma pénz aukciók átfutása rövid, aukció kommunikáció-hatékony: információkat a licitekbe tömörítjük, aukció számítás-hatékony: liciteket parallel módon lehet generálni, aukciók alacsony költségű team-eket eredményezhetnek. aukciókat lehet használni akkor is, ha a terep (környezet), vagy a róla alkotott ágenstudás változó. Intelligens Elosztott Rendszerek BME-MIT, 08

14 Emberi aukciók fontos mozzanatai Hatékony hozzárendelés: az árút az viszi el, aki a legtöbbre értékeli. Ösztönzés őszinte licitre. Árverésvezető jövedelmének maximalizálása. Kerülni kell: összejátszás (manipulálás): licitálók, eladók, és/vagy árverésvezető összejátszása (bújócska stratégia, elnyomó licit, győztes átka, ) Ha az aukcióban gépi ágens(team)ek vesznek részt Ágenslicitnek más az IT mediuma. Ágensek nem akarják kijátszani a rendszert. Programozottan licitálnak. Ágensek szándékosan nem hallgatnak el információt, nincsenek titoktartási problémái. Ágenseknek nincsen belső, saját hasznosságuk (preferenciái). A hasznosságukat a team menedzsment definiálja: az aukció a közös team-célt szolgálja. Ágenseknek mintegy, ha az eredmény nekik nem igazságos. Intelligens Elosztott Rendszerek BME-MIT, 08

15 Tipikus koordinációs feladatok Szerepek on-line elosztott kiosztása Feladatok hozzárendelése mentő/ tűzoltó/ rendőrségi ágensekhez misszió-kritikus/ SAR/ katasztrófa (RoboCup Rescue) Különböző megfigyelési célok hozzárendelése külön szenzorokhoz wireless szenzor hálózatokban Megfigyelő és manipuláló szerepek kiosztása manipulálási feladatkörben On-line elosztott ütemezés és vezérlés Feladatok ill. folyamatok hozzárendelése min. látencia idő, max. átbocsátó képesség, stb. érdekében On-line elosztott navigálás Lokációk hozzárendelése ágensekhez: baleseti színhelyek mentőkhöz, kivizsgálandó esetek rendőrjárőröknek, aknák a víz alatti autonóm járművekhez, SAR lokációk a legagilisabb mentőkhöz, kliensek taxikhoz, megvizsgálandó sziklák Mars bolygójárókhoz, megfigyelő lokációk térképező ágensekhez (számos NP teljes optimális problémák közelítő megoldása) Intelligens Elosztott Rendszerek BME-MIT, 08

16 Aukció protokollok tervezése AUKCIÓ FORMATUMA nyílt v. zárt (borítékolt) emelkedő v. csökkenő szimultán v. szekvenciális egyfordulós v. több fordulós LICITSZABÁLYOK ár megállapítási szabályok licit komponensei köteg, kombinatorikus aukció szabályok LEBONYOLITÁS győztes és hozzárendelés megállapítása ki fizet és mennyit? időzítés RÉSZVÉTELI SZABÁLYOK INFORMACIÓ tételek/szolgáltatások licitek résztvevők Intelligens Elosztott Rendszerek BME-MIT, 08 Aukció Hagyományos : N Inverz N : Vegyes N : M Licit stratégiák Melyik aukcióban részt venni? Részvételköltség, aukció időtartama, licitálók száma. Mikor licitálni? Mennyit licitálni? (ár és/vagy mennyiség) Kölcsönhatások és skálázás eredménye.

17 Aukciómechanizmusok típustana Hagyományos aukció: egy eladó (menedzser), több vevő (feladatvégző). Eladó maximális jövedelmet szeretne elérni a licitálóktól (pl. minimális végzési költségen kiadni a feladatokat). Árverésvezető (eladó) rezervációs ára. - sikeres árverés - sikertelen árverés (ágensek/robotok) - feladat nincs megoldva - a feladatot a menedzsernek kell felvállalnia Megszokott aukciótípusok Egyedi árú árverés Csoportos árverés Kombinatorikus árverés Intelligens Elosztott Rendszerek BME-MIT, 08

18 Egyedi árverés Árverésvezető egyetlenegy árút kínál Angol (emelkedő, be/ki, leütés) Japán (emelkedő, végleges kilépés) Holland (csökkenő, végleges kilépés)... Elsőlicites versenytárgyalás Minden licitáló a feladat költségét jelentő adatot nyújt be licitként. A legalacsonyabban licitáló nyer, megkapja a feladatot, és beleegyezik, hogy a licitált költségen megvalósítja. Másodlicites (Vickrey) versenytárgyalás Protokoll u.a., csak a győztes beleegyezik, hogy a feladatot a második legkisebb licit költségén valósítja meg. Melyik mechanizmus? Mintegy, amíg az ágensek hitelesen licitálnak. Intelligens Elosztott Rendszerek BME-MIT, 08

19 Intelligens Elosztott Rendszerek BME-MIT, 08

20 Intelligens Elosztott Rendszerek BME-MIT, 08

21 Intelligens Elosztott Rendszerek BME-MIT, 08

22 Intelligens Elosztott Rendszerek BME-MIT, 08

23 Ösztönzés kompatibilis ösztönzés igazságos licitre Első-licites borítékolt aukció Legyen a licitáló rezervációs ára v = a hasznosságának megítélése, ha p áron nyer, a nyeresége = v p Nem érdemes, nincs ösztönözve, hogy valódi értékén licitáljon (akkor v v = 0). Érdemes a fizetendő árat lenyomni. Másodlicites borítékolt aukció Tegyük fel, hogy minden más licitet ismerjük, azok közül a legmagasabb b*. Döntés: (a) többet licitálni, akkor a hasznosság: v - b*, (b) vagy kevesebbet: 0 hasznossággal. Akkor érdemes licitálni, ha v > b*, de ehhez elég őszintén licitálni, akár más licitek tudta nélkül. Domináns stratégia - Ösztönzés kompatibilis Intelligens Elosztott Rendszerek BME-MIT, 08

24 Csoportos aukciók Az árverező a dolgok egész halmazát ajánlja. Minden licitálónak szabad a dolgok egy részére (részhalmazára), vagy az összesre licitálnia. Az árverező a licitálókhoz egy, vagy több dolgot rendel hozzá, de minden licitálóhoz legfeljebb egy dolgot. Protokoll előírhat meghatározott számú dolog hozzárendelést, pl.: () m db. dolog hozzárendelése, m #licitáló. () Minden licitáló kapjon egy dolgot (m = #licitáló). (3) Egyetlenegy nyerő dolog van (m = ). () esetén a hozzárendelés lehet optimális is. Megszokott a mohó algoritmus: a legjobb licit díjazása megfelelő dologgal, a dolog és a licitáló eliminálása, amíg nem futunk ki dolgokból, vagy a licitálókból. Intelligens Elosztott Rendszerek BME-MIT, 08

25 Kombinatorikus aukció Az árverező egy T dologhalmazt ajánl. Minden licitáló a dolgok tetszőleges kötegeire (T részhalmazaira) licitál, az árverező több licitálónak a kötegek kombinációját (T halmaz dekompozícióját) ítéli meg (de licitálóként legfeljebb egy köteget). A hozzárendelésnek az árverező jövedelmét kell maximálnia. Kötegek száma exponenciális T. Győztes kiszámítása NP-nehéz. Gyors optimális kiszámítás létezhet, ha a licithalmaz ritka. Redukált kötegszám. Árverező csak bizonyos kötegeket enged meg. Licitáló: kötegklaszterek, limitált nagyságú klaszterek Intelligens Elosztott Rendszerek BME-MIT, 08

26 Kombinatorikus aukció nagyító alatt Licitálás - a licitáló képes a dolgok halmazaira licitálni - azok száma exponenciális - a licit tömör, informatív, implicit módon kódolt (kellene!) hozzárendelés - licitek beérkezése után, a dolgok kiosztása a győzteseknek, valamilyen optimum szerint árverező jövedelme, globális hatékonyság, - általában kezelhetetlen, NP-nehéz fizetés - mennyit fizessen a győztes, egyes esetekben nem amennyit ajánlott (mert nem pontosan azt a köteget kapja meg, ) - fizetési szabályok befolyásolják az árverező jövedelmét és a licitálási szabályokat stratégia - aukció protokoll, hozzárendelési és fizetési szabályok rögzítése után a licitálók kialakíthatják személyes licitálási stratégiákat Intelligens Elosztott Rendszerek BME-MIT, 08

27 Hozzárendelés licitek = B i = (S i, p i ) győztes licitek részhalmaza: egymást kizárók, p max x i a győztes licitek címkéző bitje minden tétel csakis egyszer kiosztva S a 3 S a a a 4 a 5 Valóban létezik tört aukció (nyersanyag, elektromos energia, sávszélesség, ) Intelligens Elosztott Rendszerek BME-MIT, 08 x i a győztes tört licit, a győztes S i egy részét kapja, f x p i -t fizet

28 Hozzárendelés könnyen formalizálható: integer programozás = kezelhetetlen relaxált: lineáris programozás = hatékony megoldás, de nem biztos, hogy optimális () LP optimális hozzárendelést ad, ha az egyedi áruknak is van definiált ára és ez kihat a kötegek árára (kötegek lebonthatók). () Licitnyelv erősen korlátozott: hierarchikus licit, egyedi tétel licit, OR-of-XOR-of-szingleton licit, Alapvető probléma a licit kézben tartása Szabványosított értékítéletekhez szabványosított licitnyelvek. Garancia, hogy ha a licitáló értékítélete bizonyos matematikai tulajdonságú, akkor a felkínált licitnyelven tömören, hatékonyan kifejezheti magát (és az árvereztető ezt képes hatékonyan feldolgozni). Licit szabályok = licit nyelv (szintaxis és szemantika) kifejező erő egyszerűség minden kívánt licitet kifejezni, fontos liciteket egyszerűbben kifejezni, licitek kezelése egyszerű Intelligens Elosztott Rendszerek BME-MIT, 08

29 Licitáló modellek (kötegek értékítélete: minden v(s) megítélése) szabad rendelkezés (free disposal) normalizálás v( ) = 0, stb. v(s) v(t), ha S T additív: v(s) = S egyedi tétel: v(s) =, S k-budzsé: v(s) = min(k, S ) többségi: v(s) =, ha S min. m/ tételt tartalmaz, más v(s) = 0 monokromatikus: egyfajta tételből több S = k db. kék, l db. piros: v(s) = max(k,l) egy-a-fajtából: S = párok és szingletonok, tételpárokból - + szingletonok... Licitnyelvek atomi licitek: (S, p) v(t) = p, minden T S, v(t) = 0 más T-re OR licitek: {(S, p), (S, p),,} implicit OR diszjunkt kötegekre XOR licitek: {(S, p), (S, p),,} implicit XOR OR-of-XOR licitek: XOR licitek tetszőleges száma XOR-of-OR licitek: OR licitek tetszőleges száma, de egy kell OR/XOR kifejezések: OR, XOR tetszőleges kombinációja Intelligens Elosztott Rendszerek BME-MIT, 08

30 OR: ({a,b},7) OR ({d,e},8) OR ({a,c},4) Licitáló jelzése, hogy számára: {a} = 0, {a,b} = 7, {a,c} = 4, {a,b,c} = 7, {a,b,d,e} = 5, XOR: ({a,b},7) XOR ({d,e},8) XOR ({a,c},4) {a} = 0, {a,b} = 7, {a,c} = 4, {a,b,c} = 7, {a,b,d,e} = 8,.. OR-of-XOR: ({rekamé},7) XOR ({szék},5) OR ({TV},8) XOR ({könyv},3) Licitnyelv kiszámítása: egy b licitnyelv polinomiálisan interpretálható, ha létezik polinomiális idejű algoritmus licit(s) érték kiszámításához, tetszőleges S köteg esetén. OR* licitek: tetszőleges számú {(S k, p k )} pár, implicit diszjunkt OR S k G G i G az eladandó tételek, G i az i-ik licitáló fantom tételei Pl. (S, p) XOR (S, p) = (S {g}, p) OR (S {g}, p) Pl. Akármilyen rezervációs ár, ami s nagyságú OR-of-XOR licitekkel kifejezhető, kifejezhető s nagyságú OR* licitekkel, legfeljebb s db fantom tételt használva. Intelligens Elosztott Rendszerek BME-MIT, 08

31 Általánosított Vickrey aukció - GVA (Groves mechanizmus, Clarke adóztatás, VCG mechanizmus) Mechanizmus - hozzárendelés-hatékony = maximalizálja a szociális jólétet (az összes ágens együttes haszna, aki a legtöbbet ad ). - környezete monoton = egy ágens kilépésével a lehetséges hozzárendelések száma nem nőhet. - egyénileg racionális = ágens nem veszíthet, ha részt vesz benne. A licitáló magán értékítélete v i (S), a bejelentett (licitált) értékítélete v i *(S). Az S,, S n kötegek győztes hozzárendelése: V = max x Σ i=,,n v i * (x). Az i-edik licitáló mennyit fizessen (p i )? Mennyi a haszna (v i (S)-p i )? igazmondás = dominans stratégia: v j * = v j Intelligens Elosztott Rendszerek BME-MIT, 08

32 Általánosított Vickrey aukció - GVA (Groves) p i = h i (v -i *) - Σ j, j =/= i v j * (x). i értékítéletétől nem függ fizetve van mások értékítéletével A licitálók halmazából vegyük ki az i-t és oldjuk meg az optimális hozzárendelést újra, legyen ez V -i (szociális jólét i ágens nélkül) (Clark adóztatás) h i (v -i *) = V -i Az i-edik licitálónak: p i = V -i (V v i *(x)) összeget kell fizetnie. vagy: p i = v i *(x). (V - V -i ) = v i *(x). Vd i (Vickrey-discount) p = 0 t fizet az az ágens, aki az eredményt nem befolyásolja p > 0 t fizet az az ágens, aki a részvérelével mások dolgát megnehezíti p < 0 t fizet az az ágens, aki a részvételével mások dolgát megkönnyíti Pl. n licitáló (v j /0), oszthatatlan dologra licitál Legyen v * > v * > v n * p = V - (V v *(x)) = v * - 0 = v * p i, i=/= = 0 Intelligens Elosztott Rendszerek BME-MIT, 08

33 Intelligens Elosztott Rendszerek BME-MIT, 08 Pl. n licitáló (v j /0), azonos oszthatatlan dolog, ágens dolog Legyen v * > v * > v n * x = (,) p = V - (V v *(x)) = v * + v 3 * - v * = v 3 * p = V - (V v *(x)) = v * + v 3 * - v * = v 3 * p i, i=/= = 0 Pl. 5 licitáló, 3 egyforma tétel, értékítéletsor 0, 5,, 0, 6 Vd = (0+5+)-(5++0) = 0 Vd = (0+5+)-(0++0) = 5 Vd3 = (0+5+)-(0+5+0) = p = 0 - Vd = 0 = (5++0) (5+) = 0 p = 5 Vd = 0 = (0++0) (0+) = 0 p3 = Vd3 = 0 = (0+5+0) (0+5) = 0 PL. u.a., de az. ágensnek db dolog kell Vd = (0+0+5)-(5++0)= 8 Vd = (0+0+5)-(0+0+)= 3 p = 40 8 = = (5++0)-(5) = p = 5 3 = = (0+0+)-(0+0) =

34 Általánosított Vickrey aukció - GVA (Az összejátszó több licitáló, több licitálónak magát kiadó licitáló false-name probléma) A B AB X = (), V. (,3) () () - Vd = 0 0 = 0 p = 0 0 = 0 Vd3 = 0 0 = 0 p3 = 0 0 = 0 Vd = 0 = p = = - Vd3 = 0 = p3 = = - Intelligens Elosztott Rendszerek BME-MIT, 08

35 GVA példák S A B (5) (95) Kommunikációláncot kell kiépíteni S-T között. Egy-egy szakaszt egy-egy ágens tud biztosítani, aki a szakasznál látható költséget kér. A pályatervező szempontjából az optimális megoldás így a min negatív értékű összmegoldás. T Vd(SA) = = 5 Vd(AT) = = 5 p(sa) = = -5 p(at) = = -5 Vd(SA) = = 0 Vd(AT) = = 0 p(sa) = = -0 p(at) = = -0 Vd(SA) = = 80 Vd(AT) = = 80 p(sa) = = -90 p(at) = = -90 S 0 A B T Intelligens Elosztott Rendszerek BME-MIT, 08 X = SB-BA-AT Vd(SB) = = 3 Vd(BA) = = 3 Vd(AT) = = 8 p(sb) = -5-3 = = -0 + = -8 p(ba) = --3 = = = -5 p(at) = -0-8 = = = -8

36 További GVA példák Pl.. Árverező A,B,C halmazt ajánl. Ágensek licitje: Ág Ág Ág3 A 3 B 3 4 C A,B B,C A,C A,B,C 0 0 Ki mit kap és mennyit fizet? Pl.. Árverező t, t halmazt ajánl. Ágensek licitje, XOR jelleggel: (v(t), v(t), v(t,t)) Ág = (0, 5, 5) Ág = (0, 5, 30) Ki mit kap és mennyit fizet? Pl.3. Árverező a,b,c halmazt ajánl. Ágensek licitje: Ág = (a,), Ág = (b,), Ág3 = ((a,b),5), Ág4 = (c,), Ág5 = ((a,c), 5) Intelligens Elosztott Rendszerek BME-MIT, 08 Ki mit kap és mennyit fizet?

37 Koordinálás aukciókkal Kombinatorikus aukciókból Szekvenciális aukciók A B C D Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

38 Kölcsönhatások A B Min pályaköltség (A): 5 Min pályaköltség (B): 4 Min pályaköltség (A és B): 5 Min pályaköltség (A és B) < Min pályaköltség (A) + Min pályaköltség (B) Min pályaköltség (B): 4 Min pályaköltség (C): 4 B Min pályaköltség (B és C): Min pályaköltség (B és C) > Min pályaköltség (B) + Min pályaköltség (C) C Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

39 Ideális kombinatorikus aukció: Kölcsönhatás A B C {A}-ra: 5 {A,B}-ra: 5 {B}-re: 4 {A,C}-ra: 3 {C}-re: 4 {B,C}-ra: {A,B,C}-ra: 3 Minden ágens a kötegben foglalt minden célpont eléréséhez az adott helyzetéből kiindulva a minimális költségű pályát licitálja. Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

40 Ideális kombinatorikus aukció: A B {A}-ra: 86 {B}-ra: 9 {C}-ra: 3 {D}-ra: 37 {A,B}-ra: 07 {A,C}-ra: 30 {A,D}-ra: 60 {B,C}-ra: 3 {B,D}-ra: 44 {C,D}-ra: 44 {A,B,C}-ra: 5 {A,B,D}-ra: 65 {A,C,D}-ra: 53 {B,C,D}-ra: 5 {A,B,C,D}-ra: 7 C D {A}-ra: 90 {B}-ra: 85 {C}-ra: 4 {D}-ra: 7 {A,B}-ra: 06 {A,C}-ra: 48 {A,D}-ra: 46 {B,C}-ra: 50 {B,D}-ra: 34 {C,D}-ra: 48 {A,B,C}-ra: 69 {A,B,D}-ra: 55 {A,C,D}-ra: 55 {B,C,D}-ra: 57 {A,B,C,D}-ra: 76 Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

41 Intelligens Elosztott Rendszerek BME-MIT, 08 Ideális kombinatorikus aukció: {A}-ra: 86 {B}-ra: 9 {C}-ra: 3 {D}-ra: 37 {A,B}-ra: 07 {A,C}-ra: 30 {A,D}-ra: 60 {B,C}-ra: 3 {B,D}-ra: 44 {C,D}-ra: 44 {A,B,C}-ra: 5 {A,B,D}-ra: 65 {A,C,D}-ra: 53 {B,C,D}-ra: 5 {A,B,C,D}-ra: 7 {A}-ra: 90 {B}-ra: 85 {C}-ra: 4 {D}-ra: 7 {A,B}-ra: 06 {A,C}-ra: 48 {A,D}-ra: 46 {B,C}-ra: 50 {B,D}-ra: 34 {C,D}-ra: 48 {A,B,C}-ra: 69 {A,B,D}-ra: 55 {A,C,D}-ra: 55 {B,C,D}-ra: 57 {A,B,C,D}-ra: 76 - {A,B,C,D} 76 {A} {B,C,D} 43 {B} {A,C,D} 46 {C} {A,B,D} 78 {D} {A,B,C} 06 {A,B} {C,D} 55 {A,C} {B,D} 64 {A,D} {B,C} 30 {B,C} {A,D} 78 {B,D} {A,C} 88 {C,D} {A,B} 50 {A,B,C} {D} 78 {A,B,D} {C} 06 {A,C,D} {B} 38 {B,C,D} {A} 4 {A,B,C,D} - 7

42 Ideális kombinatorikus aukció: A C B D Ideális kombinatorikus aukcióból adódó team költség minimális, mert minden kölcsönhatást vesz figyelembe a célpontok között, ami egy NP-nehéz probléma megoldása. A licitek száma exponenciális a célpontok számában. Licitgenerálás, -kommunikáció és a győztes kiszámítása költséges. Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

43 Intelligens Elosztott Rendszerek BME-MIT, 08 Közelítő kombinatorikus aukció Minden ágens néhány célkötegre (halmazra) licitál. Licit stratégiák Melyik kötegre licitálni nagyban feltáratlan, mert egy jó köteggenerálási stratégia feladatfüggő. Jó köteggenerálási stratégiák: Kis számú köteget generálni A megoldásteret lefedő kötegeket generálni Jövedelmező kötegeket generálni Kötegeket hatékonyan generálni Dómén-független köteggenerálás pl. Három-Kombináció - 3 vagy kevesebb célpontot tartalmazó kötegre licitálni Dómén-függő köteggenerálás pl. Graph-Cut teljes célpontgráf gráf imételt szétvágása maximális vágás (közelítése) mentén. Ilyen kombinatorikus aukcióból adódó team költség alacsony, de szuboptimális lehet.

44 Intelligens Elosztott Rendszerek BME-MIT, 08 Kombinatorikus aukció Implementáció: nehéz Decentrálizálás: tisztázatlan Köteggenerálás: drága (lehet NP-nehéz) Licitgenerálás/ köteg: ok (NP-nehéz) Licitkommunikáció: drága Aukció lebonyolítás: drága (NP-nehéz) Team hatékonyság: nagyon jó (optimális) sok (minden) összhang/kötés figyelembe vétele Használjuk ügyes köteggenerálást. Különböző NP-nehéz problémák approximációja.

45 Intelligens Elosztott Rendszerek BME-MIT, 08 Szekvenciális aukció Körönként csak egy célpont kell el. Egy licitkörben minden ágens az összes, mások által nem elnyert célpontra licitál. Minden ágens az új célpontra az adott pozíciójából kiinduló és az összes célpont meglátogatásához szükséges minimális költségű pályában jelentkező költségnövekményt licitálja, ha a célpontot történetesen ő nyerné meg. (BidSumPath). A győztes az ágensekre és a célpontokra nézve minimális licit. (A licitáló ágens elnyeri az adott célpontot) Néhány licitkör elteltével ágensek minden célpontot elnyernek. Minden ágens a elnyert célpontokhoz kiszámítja a költség minimál pályát és elkezdi követni.

46 A B C A-ra: 5 B-re: 4 C-re: 4 A B C A B C A-ra: C-re: 8 Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

47 Szekvenciális aukció A B {A}-ra: (86) {B}-ra: (9) {C}-ra: 3 {D}-ra: (37) C D {A}-ra: (90) {B}-ra: (85) {C}-ra: (4) {D}-ra: 7 Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

48 Szekvenciális aukció A {A}-ra: (07) {B}-ra: (09) {D}-ra: C B D {A}-ra: (90) {B}-ra: (85) {D}-ra: 7 Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

49 Szekvenciális aukció A {A}-ra: (09) {B}-ra: 07 C B D {A}-ra: (90) {B}-ra: 85 Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

50 Szekvenciális aukció A {A}-ra: 09 C B D {A}-ra: Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

51 Szekvenciális aukció A C B D Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

52 Szekvenciális aukció A C B D Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

53 Intelligens Elosztott Rendszerek BME-MIT, 08 A licitek {A}-ra: (86) {B}-ra: (9) {C}-ra: 3 {D}-ra: (37) {A}-ra: (07) {B}-ra: (09) {D}-ra: {A}-ra: (90) {B}-ra: (85) {C}-ra: (4) {D}-ra: 7 A hozzárendelések Felső Ág. Alsó Ág. C = 3 D = {A}-ra: (09) {B}-ra: 07 {A}-ra: B = 85 A = Minden ágensnek elegendő csak a minimális licitek egyikét jelezni. Minden ágensnek az új licitet csak akkor kell jeleznie, ha az eddig licitált célpontot valaki elnyerte. (vagy ő maga,vagy más ágens). Minden ágens legfeljebb egy licittel jelentkezik körönként és a körök száma azonos a célpontok számával. (példában a jelezni nem szükséges licitek zárójelben vannak).

54 Intelligens Elosztott Rendszerek BME-MIT, 08 Szekvenciális aukció Implementáció: viszonylag egyszerű Decentralizáció: egyszerű Licitgenerálás: olcsó Licitkommunikáció: olcsó Aukció lebonyolítás: olcsó Team hatékonyság: nagyon jó, kölcsönhatások egy része figyelembe vett Licitszabályok származtatása Az a győztes, amely mellett a team költség legkevesebbet nő. MiniSum Összpályaköltség minimálása a team-re nézve. Teljes energia, távolság, valamilyen erőforrás minimálása. Pl. bolygófelszín kutatása. MiniMax Maximális pályaköltség minimálása ágensekre nézve. Teljes feladatvégzési idő minimálása (makespan). Pl. objektum-felügyelet, bányatakarítás. MiniAve Átlagos érkezési idő minimálása az összes célpontra nézve. Átlagos kiszolgálási idő minimálása (flowtime). Pl. sarch and rescue

55 Szekvenciális aukció Pályalicit szabályok származtatása MiniSum = energia vagy távolság A minusz (annak a minimális költségű pályának a költsége, amivel az összes elnyert célpontot bejárhatja, feltéve hogy a licitált célpontot elnyeri) mínusz A (annak a minimális költségű pályának a költsége, amivel az összes eddig elnyert célpontot bejárhatja) Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

56 0 Tipikus koordinációs feladat: MiniSum Team célfüggvény = Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

57 Szekvenciális aukció Pályalicit szabályok származtatása MiniMax = makespan Licit a minimális pályaköltséggel az összes elnyert célpont meglátogatásához, feltéve, hogy a licitált célpontot elnyeri (BidMaxPath), ami az összes ágensre nézve egyenlíti ki a pályaköltségeket. A Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

58 0 Tipikus koordinációs feladat: MiniMax Team célfüggvény max(0,0,,4,5) = Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

59 Intelligens Elosztott Rendszerek BME-MIT, 08 Szekvenciális aukció Pályalicit szabályok származtatása MiniAve = flowtime Licit az érkezési idők minimális összegében jelentkező inkrementummal, ami az összes elnyert célpont meglátogatásához szükséges, feltéve, hogy a licitált célpontot elnyeri (BidAvePath).

60 Tipikus koordinációs feladat: MiniAve Team célfüggvény ( )/ = 5.8 Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

61 Intelligens Elosztott Rendszerek BME-MIT, 08 Licitszabályok - n db. ágens r,, r n, -- m db. még nem kiosztott célpont: t,, t m, - az eddig kiosztott célok partíciója ágensenként: T = (T,, T n ), - team hatékonyságát optimalizáló f(g(r,t ),, g(r n,t n )) függvény ágensek g(.) hatékonyságaik alapján, - PC(r i,t i ) az i-edik ágens minimális pályaköltsége T i particióban (Path Cost) - STC(r i,t i ) minimális kummulatív célpontköltség minden T i beli célpontjára (Sum per Target Cost) MiniSum = min T Σ j PC(r j,t j ) MiniMax = min T max j PC(r j,t j ) MiniAve = min T /m Σ j STC(r j,t j )

62 Intelligens Elosztott Rendszerek BME-MIT, 08 Licitszabályok Pályák licitálása ( direkt megközelítés ) Közvetlenül találja meg a pályát. Fák licitálása ( indirekt megközelítés ) Fákat talál és azokat pályákká konvertálja. (Pl. min. költségű minimális kifeszítő fa = P komplexitás min. költségű pálya = NP komplexitás) Pályák: mindegyik költség kiszámítása NP-nehéz közelítés: beszúrási heurisztika Fák: MiniSum min. kifeszítő erdő P, MiniMax minmax kif. erdő NP, MiniAve triv. erdő = csillagok, Fa-pálya konverzió: shortcutting, heur. max. x opt., P (jobb közelítés = sokkal nehezebb)

63 Pályák licitálása Utazó Ügynök Probléma Egy adott célponthalmaz meglátogatásához szükséges minimális költségű pálya megkeresése NP-nehéz. Polinomiális idejű legolcsóbb beszúrás (cheapest insertion) heurisztikát (vagy más bonyolultabb heurisztikát) használjuk. Intelligens Elosztott Rendszerek BME-MIT, 08 Tutorial on Auction-Based Agent Coordination at AAAI 006

64 Intelligens Elosztott Rendszerek BME-MIT, 08 Fák licitálása - Minimális kifeszítő fa problémája Adott nem irányított gráf G, d(u, v) élköltségekkel (távolságokkal). Találjuk meg azt a T részgráfot, ami az összes csomópontot összekapcsolja és a távolságok összegét minimalizálja. (fa lesz az!) Algoritmusok (legyen minden élhossz eltérő):. Adjunk hozzá éleket, növekvő sorrendben, kihagyva azokat, amelyek ciklusokhoz vezetnek (Kruskal algoritmus). Tetszőleges gyökértől fát növeszteni, a legrövidebb perem-él hozzáadásával (Prim algoritmus) 3. Kezdjünk az összes éllel, a csökkenő érték szerint eliminálva, kihagyva azokat, amelyek miatt a gráf darabokra esne szét ( Reverse- Delete" algoritmus)

65 Minimális kifeszítő fa problémája Intelligens Elosztott Rendszerek BME-MIT, 08

66 Pályák licitálása Utazó Ügynök Probléma Intelligens Elosztott Rendszerek BME-MIT, 08

67 Intelligens Elosztott Rendszerek BME-MIT, 08 Utazó ügynök problémája közelítő sémák heuriszt. megoldás (+ ε) minimális TSP pálya Szimm.költség + háromszög egyenlőtlenség Egy él törlése az optimális megoldásból = kifeszítő fa opt(tsp) >= kif.fa >= MKF mélységi bejárás = MKF =< opt(tsp)

68 Intelligens Elosztott Rendszerek BME-MIT, 08 Utazó ügynök problémája közelítő sémák Shortcuts mélységi bejárásból TSP pálya: vissza nem a szülőre, hanem az első további még nem meglátogatott ősre. MKF pálya =< mélységi bejárás (h.szög egnl.) MKF pálya =< opt(tsp) Cheapest insertion min ( d(j,k) + d(i,k) d(i,j) ) (Szintén -opt)

69 Intelligens Elosztott Rendszerek BME-MIT, 08 Licitszabály Ágens r i licitál: különbség = team hasznosság(hozzárendelés + ő győzelme) - team hasznosság (kiinduló helyzet) f(g(r,t ),, g(r n,t n )) - f(g(r,t ),, g(r n,t n )), T i = T i {t}, T j = T j i j (hegymászó algoritmus, lokális optimum) BidSumPath: Σ j PC(r j,t j ) - Σ j PC(r j,t j ) = PC(r i,t i ) - PC(r i,t i ) BidMaxPath: max j PC(r j,t j ) - max j PC(r j,t j ) = PC(r i,t i ) - max j PC(r j,t j ) = PC(r i,t i ) (max j PC(r j,t j ) = PC(r i,t i ), különben korábban elkelne) BidAvePath: /m Σ j STC(r j,t j ) - /m Σ j STC(r j,t j ) = /m (STC(r i,t i ) - STC(r i,t i )) = STC(r i,t i ) - STC(r i,t i ) (fa licitek: FC(r i,t i ) min. kifeszítő fa költsége SFC(r i,t i ) kum. célfa költsége (gyökér-cél költségek összege) tovább egyszerűsíthetők, polinomiális komplexitás,

70 Intelligens Elosztott Rendszerek BME-MIT, 08 Pályák v. fák Direkt indirekt (fa-pálya konverzió) Fák számításbarát (polinomiális) MiniSum MiniMax MiniAve minimális kifeszítő erdő polinomiális minimax kifeszítő erdő NP minimum átlagos költségű kifeszítő erdő - triviális (csillagok) Licitszabályok összehasonlítása BidSumPath, BidMaxPath, BidAvePath Számítás: lokális Optimális licit: NP-nehéz Optimális konverzió: nem kell Gyakorlat: egyszerű TSP beszúrási heurisztika.5 opt MiniSum opt BidSumTree, BidMaxTree, BidAveTree Számitás: lokális. Optimális licit: polinomiális Optimális konverzió: NP-nehéz Gyakorlat: egyszerű MST (minimális kifeszítő fa) heurisztika

71 Intelligens Elosztott Rendszerek BME-MIT, 08 Szekvenciális aukció ágens, 0 nem klaszter eloszlású célpont, ismert terep 5 x 5 SUM MAX AVE BidSumPath BidMaxPath BidAvePath optimális (IP) = ideális kombinatorikus aukció ágens, 0 klaszter eloszlású célpont, ismert terep 5 x 5 SUM MAX AVE BidSumPath BidMaxPath BidAvePath optimális (IP) = ideális kombinatorikus aukció

72 Intelligens Elosztott Rendszerek BME-MIT, 08 Komplex feladatok kezelése Elemi feladat nem dekomponálható Dekomponálható egyszerű feladat elemi, v. dekomponálható elemi feladatokra, de egyetlen egy ágens hatáskörében (pl. Mars rover: elhozni egy ásványmintát) Egyszerű feladat elemi, v. dekomponálható egyszerű feladat Teljesen dekomponálható feladat ha egyszerű feladatai véges számú lépésben kiszámíthatók Összetett feladat dekomponálható egyszerű, v. összetett feladatokra, de a dekompozició (tetszőleges szinten) egyértelmű (csak egy létezik) (pl. gyár: feldolgozási igények és gépek/ műveletek (job-shop scheduling)) Komplex feladat többféle módon dekomponálható feladat, amelyhez legalább egy dekompozició többágenses (pl. SAR feladatok)

73 Intelligens Elosztott Rendszerek BME-MIT, 08 Stratégiák: Dekomponálás- majd-hozzárendelés hagyományos tervkészítő, stb.- egyszerű feladatok egyszerű feladatok hozzárendelése, a végleges terv költsége ismeretlen Probléma: hogyan tudjuk hatékonyan dekomponálni egy komplex feladatot, ha nem tudjuk melyik egyszerű feladatot melyik (milyen képességű) ágens fog végrehajtani? Hozzárendelés- majd-dekomponálás komplex feladatok hozzárendelése aukciókkal minden ágens/robot a dekompozíciót lokálisan végzi Probléma: hogyan tudhatjuk egy komplex feladat optimális hozzárendelését, ha még el sem döntöttük a dekomponálásának módját?

74 Feladatfa aukciók (példa) utólagos kereskedés fontossága Elosztott megfigyelés R nyert egy feladatfát (40 a rezervációs ára). Most próbálja rásózni másokra. (l. pl. rekurzív VH) Intelligens Elosztott Rendszerek BME-MIT, 08 An Auction-Based Approach to Complex Task Allocation for Multirobot Teams, Robert Michael Zlot, CMU-RI-TR-06-5

75 Feladatfa aukciók (példa) utólagos kereskedés fontossága R árverez egy feladatfát (40 a rezervációs ára). R szemszögéből a fa R szerinti dekomponálása túl drága. R áttervezés nélkül nem versenyképes. R így hoppon maradhat. Intelligens Elosztott Rendszerek BME-MIT, 08 An Auction-Based Approach to Complex Task Allocation for Multirobot Teams, Robert Michael Zlot, CMU-RI-TR-06-5

76 Feladatfa aukciók (példa) utólagos kereskedés fontossága De szerencsére R dekompozíciót válthat, vált és ezzel licitál. Mivel ez jobb, R elnyeri az R-től az absztrakt felügyeleti taszkot, amit saját dekompozíciójával tervez végrehajtani. A globális megoldás költsége 40-ről 5-re csökkent. Intelligens Elosztott Rendszerek BME-MIT, 08 An Auction-Based Approach to Complex Task Allocation for Multirobot Teams, Robert Michael Zlot, CMU-RI-TR-06-5

77 Feladatfa aukciók (példa) utólagos kereskedés fontossága Most R rendez további aukciót, hátha? A c feladatra R3 személyében talál jelentkezőt, aki azt kisebb költségen al(át)vállalja. A globális megoldás értéke (team hatékonysága) újra csökkent (nő) 5-ről -re. Megjegyzés: R-nek, R3-nak akarni kell a feladatot átvállalni a jobb team összetétel érdekében. Ezt valamilyen módon a részükre díjazni kell Intelligens Elosztott Rendszerek BME-MIT, 08 An Auction-Based Approach to Complex Task Allocation for Multirobot Teams, Robert Michael Zlot, CMU-RI-TR-06-5

78 Intelligens Elosztott Rendszerek BME-MIT, 07 Komplex feladatok hozzárendelése Licit lehet: - MinSum MinMax jellegű Fa = licit korlátozása, pl. nem adható el egy csp., ha a szülője elkelt (a dekompozíció felett más uralkodik már) egy licitáló = csak egy csp. megnyerése (költség függ a létező kötelezettségtől) Licitnyelvek one-node levelek véletlen rendezésben, teljesített csp-ok kivonva, kifejező erő alacsony, megoldás nem optimális, de a lebonyolítás polinomiális any-nodes egy feladatgyökér - levél pálya mentén, OR ágakkal any-nodes minden, NP-nehéz, heurisztika kell (Any-nodes: több csp licitje, de csak egy csp hozzárendelése, mert a hozzárendeléssel a többi csp értéke megváltozik és az aukció nem lesz hiteles)