Együttműködés versengés közepette - koordinálás és feladatkiosztás árveréssel/1

Átírás

1 Együttműködés versengés közepette - koordinálás és feladatkiosztás árveréssel/

2 Miért éppen árverés? ismeretlen értékű dolgok értékesítése automatizálható csökkenti a tárgyalás komplexitását kedvező a számítógépes implementáció tisztességes megoldás benyomását kelti Előnyök Koordinálás árveréssel Koordinálás Árverés ágens feladat költség licitáló licit objektuma pénz árverés lefutása rövid árverés kommunikáció-hatékony: információt licitekbe tömörítünk árverés számítás-hatékony: liciteket parallel módon lehet processzálni árverés alacsony költségű szervezetet eredményezhet árverést lehet használni akkor is, ha a terep (környezet), vagy a róla alkotott ágenstudás változó

3 Tipikus koordinációs feladatok Szerepek on-line/elosztott kiosztása Feladatok hozzárendelése mentő/ tűzoltó/ rendőrségi ágensekhez misszió-kritikus/ SAR/ katasztrófa (RoboCup Rescue). Különböző megfigyelési célok hozzárendelése külön szenzorokhoz wireless szenzor hálózatokban. Megfigyelő és manipuláló szerepek kiosztása manipulálási feladatkörben. On-line elosztott ütemezés és vezérlés Feladatok ill. folyamatok hozzárendelése min. látencia idő, max. átbocsátó képesség, stb. érdekében. On-line elosztott navigálás Lokációk hozzárendelése ágensekhez: baleseti színhelyek mentőkhöz, kivizsgálandó esetek rendőrjárőröknek, aknák a víz alatti autonóm járművekhez, SAR lokációk a legagilisabb mentőkhöz, kliensek taxikhoz, megvizsgálandó sziklák Mars bolygójárókhoz, megfigyelendő lokációk térképező ágensekhez (lehetséges így számos NP-teljes optimális probléma közelítő megoldása)

4 Tutorial on Auction-Based Agent Coordination at AAAI

5 Árverésen egyenként nyert Tutorial on Auction-Based Agent Coordination at AAAI

6 Mindenki külön optimálizál Tutorial on Auction-Based Agent Coordination at AAAI

7 Mégis optimális lesz a team Tutorial on Auction-Based Agent Coordination at AAAI

8 és most induljunk neki Tutorial on Auction-Based Agent Coordination at AAAI

9 Hibák, kiesések, a közös feladat sikere veszélyben! Indítsuk újra az árverést! (3) X (2) (2) 2 X () 4 (5) 3 3

10 A közös feladatot megmentettük. Persze kicsit rosszabb hatékonysággal. 4 2 (3) 5 X (2) (2) 2 X () (5)

11 Árverési protokollok tervezése FORMATUM Nyílt v. zárt (borítékolt) Emelkedő v. csökkenő Szimultán v. szekvenciális Egyfordulós v. több fordulós LICITSZABÁLYOK Ármegállapítás Licit komponensei Köteg, kombinatorikus árverés LEBONYOLITÁS A győztes és a hozzárendelés Ki fizet és mennyit? Időzítések RÉSZVÉTELI SZABÁLYOK Árverés Hagyományos : N Inverz N : Vegyes N : M Licit stratégiák Melyik árverésben részt venni? Részvételi költség, árverés időtartama, licitálók száma? Mikor licitálni? Mennyit licitálni? (ár és/vagy mennyiség) Kölcsönhatások és a skálázás eredménye. Megszokott árveréstípusok Egyedi árú árverése Csoportos árverés Kombinatorikus árverés

12 Egyedi árverés Árverésvezető egyetlenegy árút kínál Angol árverés (emelkedő, be/ki részvétel, leütés) Japán árverés (emelkedő, végleges kilépéssel) Holland árverés (csökkenő, végleges kilépéssel)... Elsőlicites versenytárgyalás (boritékolt árverés) Minden licitáló a feladat költségét nyújtja be boritékolt licitként. A legalacsonyabban licitáló nyer, megkapja a feladatot és beleegyezik, hogy a licitált költségen meg is valósítja. Másodlicites (Vickrey) versenytárgyalás (boritékolt árverés) Protokoll u.a., csak a győztestől megkövetelik, hogy a feladatot a második legkisebb licit költségén valósítsa meg. Melyik mechanizmust válasszunk? Mintegy, amíg az ágensek hitelesen licitálnak.

13 Angol árverés

14 Holland árverés

15 Elsőlicites borítékolt árverés Legyen a licitáló rezervációs ára v, ha p áron nyer, a nyeresége = v p Nincs ösztönözve, hogy valódi értéken licitáljon (akkor v v = 0). Érdemes a fizetendő árat lenyomni. Másodlicites borítékolt árverés Domináns stratégia - ösztönzés kompatibilis ösztönzés igazságos licitre, ld. folyt.

16 Igazságos licit dominanciája Az i. licitáló: v i - a tényleges értékítélete, b i - a licitje. így az i. licitáló nyereménye: z v min b if b min b 0 otherwise i j i j i j i j Az igazságos licit dominálja a túllicitálást. Tegyük fel, hogy: b i > v i. Ha z < v i, bármely licit veszít, azonos (0) nyereséggel. Ha z > b i, mindkét licit nyer, azonos negatív nyereséggel. Ha v i < z < b i, akkor a túllicitálás veszít, az igazságos nyer, pozitív nyereséggel. Az igazságos licit dominál. Az igazságos licit dominálja az alúlicitálást is. Tegyük fel, hogy: b i < v i. Ha z > v i, bármely licit nyer, azonos nyereséggel. Ha z < b i, bármely licit veszít, azonos (0) nyereséggel. Ha b i < z < v i, akkor az igazmondás veszít, az alúllicitálás nyer, de negatív nyereséggel. Az igazmondás így dominál. Így az igazmondás dominálja a túllicitálást és az alúllicitálást egyaránt (vagy jobb, vagy egyenlő). Az igazmondás egy optimális stratégia. Kooperáció és intelligencia, Dobrowiecki-Mészáros, BME- MIT

17 Csoportos árverés Az árverező a dolgok egész halmazát ajánlja fel megvételre. Minden licitálónak szabad a dolgok egy részére (részhalmazára), vagy az összesre licitálnia. Az árverező a licitálókhoz egy, vagy több dolgot rendel hozzá, de minden licitálóhoz legfeljebb egy dolgot. A protokoll előírhat meghatározott számú dolog hozzárendelését, pl.: () m db dolog hozzárendelése, m #licitáló. (2) Minden licitáló kapjon egy dolgot (m = #licitáló). (3) Egyetlenegy nyerő dolog van (m = ). (2) esetén a hozzárendelés lehet optimális is. Megszokott a mohó algoritmus: a legjobb licit díjazása megfelelő dologgal, a dolog és a licitáló eliminálása, amíg nem futunk ki a dolgokból, vagy a licitálókból.

18 Kombinatorikus árverés Az árverező a dolgok egy T halmazát ajánlja fel. Minden licitáló a dolgok tetszőleges kötegeire (T részhalmazaira) licitál, az árverező több licitálónak a kötegek kombinációját (T halmaz dekompozícióját) ítéli meg (de licitálóként legfeljebb egy köteget). A hozzárendelésnek az árverező jövedelmét kell maximálnia. A kötegek száma exponenciális 2 T. A győztes kiszámítása NP-nehéz. Gyors optimális kiszámítás létezhet, ha a licithalmaz ritka. = Redukált kötegszám. Árverező csak bizonyos kötegeket enged meg. Licitáló: kötegklaszterek, limitált nagyságú klaszterek.

19 Kombinatorikus árverés nagyító alatt Licitálás - licitálók képesek a dolgok halmazaira licitálni - azok száma exponenciális - a licit legyen tömör, informatív, implicit módon kódolt! Hozzárendelés - a licitek beérkezése után, a dolgok kiosztása a győzteseknek, valamilyen optimum szerint (árverező jövedelme, globális hatékonyság, ) - általában kezelhetetlen, NP-nehéz (elvben Integer Programozás) Fizetés - mennyit fizessen a győztes, egyes esetekben nem amennyit ajánlott (mert nem pontosan azt a köteget kapja meg, ) - fizetési szabályok befolyásolják az árverező jövedelmét és a licitálási szabályokat Stratégia - az árverési protokoll, a hozzárendelési és fizetési szabályok rögzítése után a licitálók kialakíthatják személyes licitálási stratégiákat

20 Hozzárendelés könnyen formalizálható: integer programozás = kezelhetetlen relaxált: lineáris programozás = hatékony megoldás, de nem biztos, hogy optimális () LP optimális hozzárendelést ad, ha az egyedi áruknak is van definiált ára és ez kihat a kötegek árára (kötegek lebonthatók). (2) Licitnyelv legyen erősen korlátozott: hierarchikus licit, egyedi tétel licit, OR-of-XOR-of-szingleton licit (ld. később), Alapvető probléma a licit kézben tartása Szabványosított értékítéletekhez szabványosított licitnyelvek. Garancia, hogy ha a licitáló értékítélete bizonyos matematikai tulajdonságú, akkor a felkínált licitnyelven tömören, hatékonyan kifejezheti magát (és az árverező képes lesz ezt hatékonyan feldolgozni). Licit szabályok = licit nyelv (szintaxis és szemantika) kifejező erő egyszerűség minden kívánt licitet kifejezni, fontos liciteket egyszerűbben kifejezni, licitek kezelése legyen egyszerű,

21 Licitálómodellek (kötegek értékítélete: minden v(s) megítélése) szabad rendelkezés (free disposal) v(s) v(t), ha S T normalizálás v( ) = 0 additív: v(s) = S egyedi tétel: v(s) =, S k-budzsé: v(s) = min(k, S ) többségi: v(s) =, ha S min. m/2 tételt tartalmaz, más v(s) = 0 Licitnyelvek atomi licitek: (S, p) v(t) = p, minden T S, v(t) = 0 más T-re OR licitek: {(S, p), (S2, p2),,} implicit OR diszjunkt kötegekre XOR licitek: {(S, p), (S2, p2),,} implicit XOR -- // -- OR-of-XOR licitek: XOR licitek tetszőleges száma XOR-of-OR licitek: OR licitek tetszőleges száma, de egy kell OR/XOR kifejezések: OR, XOR tetszőleges kombinációja Egy b licitnyelv polinomiálisan interpretálható, ha létezik polinomiális idejű algoritmus licit(s) érték kiszámításához, tetszőleges S köteg esetén.

22 OR: ({a,b},7) OR ({d,e},8) OR ({a,c},4) Licitáló jelzése, hogy számára: {a} = 0, {a,b} = 7, {a,c} = 4, {a,b,c} = 7, {a,b,d,e} = 5, XOR: ({a,b},7) XOR ({d,e},8) XOR ({a,c},4) {a} = 0, {a,b} = 7, {a,c} = 4, {a,b,c} = 7, {a,b,d,e} = 8,.. OR-of-XOR: ({rekamé},7) XOR ({szék},5) OR ({TV},8) XOR ({könyv},3) OR* licitek: tetszőleges számú {(S k, p k )} pár, implicit diszjunkt OR S k G G i G az eladandó tételek, G i az i-ik licitáló fantom tételei Pl. (S, p) XOR (S2, p2) = (S {g}, p) OR (S2 {g}, p2) Több tételszerű eredmény, pl. Akármilyen rezervációs ár, ami s nagyságú OR-of-XOR licitekkel kifejezhető, kifejezhető s nagyságú OR* licitekkel, legfeljebb s db fantom tételt használva.

23 Általánosított Vickrey árverés - GVA (Groves mechanizmus, Clarke adóztatás, VCG mechanizmus) Mechanizmus - hozzárendelés-hatékony = maximalizálja a szociális jólétet (az összes ágens együttes haszna). - környezete monoton = egy ágens kilépésével a lehetséges hozzárendelések száma nem nőhet. - egyénileg racionális = ágens nem veszíthet, ha részt vesz benne. A licitáló magán értékítélete v i (S), a bejelentett (licitált) értékítélete v i *(S). Az S,, S n kötegek győztes hozzárendelése: V = max x Σ i=,,n v i * (x). Az i. licitáló mennyit fizessen (p i )? És akkor mennyi a haszna (v i (S)-p i )? igazmondás = dominans stratégia: v j * = v j

24 Általánosított Vickrey árverés - GVA (Groves) p i = h i (v -i *) - Σ j, j =/= i v j * (x). értékítéletétől nem függ fizetve van mások értékítéletével A licitálók halmazából vegyük ki az i-t és oldjuk meg az optimális hozzárendelést nélküle újra, legyen ez V -i (szociális jólét az i. ágens jelenlétevnélkül) (Clark adóztatás) h i (v -i *) = V -i Az i-edik licitálónak: p i = V -i (V v i *(x)) összeget kell fizetnie. vagy: p i = v i *(x) (V - V -i ) = v i *(x) Vd i (Vickrey-discount) p = 0 t fizet az az ágens, aki az árverés eredményét nem befolyásolja p > 0 t fizet az az ágens, aki a részvételével mások dolgát megnehezíti p < 0 t fizet az az ágens, aki a részvételével mások dolgát megkönnyíti Pl. n db licitáló, oszthatatlan dologra licitál Legyen v * > v 2 * > v n * p = V - (V v *(x)) = v 2 * - 0 = v 2 * p i, i=/= = 0

25 Pl. n db licitáló, 2 azonos oszthatatlan dologra, ágens dologra Legyen v * > v 2 * > v n * x = (,2) p = V - (V v *(x)) = v 2 * + v 3 * - v 2 * = v 3 * p 2 = V -2 (V v 2 *(x)) = v * + v 3 * - v * = v 3 * p i, i=/= = 0 Pl. 5 db licitáló, 3 egyforma dolog, értékítéletsor 20, 5, 2, 0, 6 Vd = (20+5+2)-(5+2+0) = 0 Vd2 = (20+5+2)-(20+2+0) = 5 Vd3 = (20+5+2)-(20+5+0) = 2 p = 20 - Vd = 0 p2 = 5 Vd2 = 0 p3 = 2 Vd3 = 0 PL. u.a., de az. ágensnek 2 db dolog kell Vd = ( )-(5+2+0)= 8 Vd2 = ( )-( )= 3 p = 40 8 = 22 p2 = 5 3 = 2

26 Koordinálás árverésekkel Kombinatorikus árverésből Szekvenciális árverés A 2 B C 2 D Tutorial on Auction-Based Agent Coordination at AAAI

27 (Pozitív és negatív) Kölcsönhatások A B Min pályaköltség (A): 5 Min pályaköltség (B): 4 Min pályaköltség (A és B): 5 Min pályaköltség (A és B) < Min pályaköltség (A) + Min pályaköltség (B) Min pályaköltség (B): 4 Min pályaköltség (C): 4 B Min pályaköltség (B és C):2 Min pályaköltség (B és C) > Min pályaköltség (B) + Min pályaköltség (C) C Tutorial on Auction-Based Agent Coordination at AAAI

28 Ideális kombinatorikus árverés Kölcsönhatás figyelembevétele A B C {A}-ra: 5 {A,B}-ra: 5 {B}-re: 4 {A,C}-ra: 3 {C}-re: 4 {B,C}-ra: 2 {A,B,C}-ra: 3 Minden ágens a kötegben foglalt minden célpont eléréséhez az adott helyzetéből kiindulva a minimális költségű pályát licitálja. Tutorial on Auction-Based Agent Coordination at AAAI

29 Ideális kombinatorikus árverés A B {A}-ra: 86 {B}-ra: 9 {C}-ra: 23 {D}-ra: 37 {A,B}-ra: 07 {A,C}-ra: 30 {A,D}-ra: 60 {B,C}-ra: 32 {B,D}-ra: 44 {C,D}-ra: 44 {A,B,C}-ra: 5 {A,B,D}-ra: 65 {A,C,D}-ra: 53 {B,C,D}-ra: 5 {A,B,C,D}-ra: 72 C D {A}-ra: 90 {B}-ra: 85 {C}-ra: 4 {D}-ra: 27 {A,B}-ra: 06 {A,C}-ra: 48 {A,D}-ra: 46 {B,C}-ra: 50 {B,D}-ra: 34 {C,D}-ra: 48 {A,B,C}-ra: 69 {A,B,D}-ra: 55 {A,C,D}-ra: 55 {B,C,D}-ra: 57 {A,B,C,D}-ra: 76 Tutorial on Auction-Based Agent Coordination at AAAI

30 Ideális kombinatorikus árverés {A}-ra: 86 {B}-ra: 9 {C}-ra: 23 {D}-ra: 37 {A,B}-ra: 07 {A,C}-ra: 30 {A,D}-ra: 60 {B,C}-ra: 32 {B,D}-ra: 44 {C,D}-ra: 44 {A,B,C}-ra: 5 {A,B,D}-ra: 65 {A,C,D}-ra: 53 {B,C,D}-ra: 5 {A,B,C,D}-ra: 72 {A}-ra: 90 {B}-ra: 85 {C}-ra: 4 {D}-ra: 27 {A,B}-ra: 06 {A,C}-ra: 48 {A,D}-ra: 46 {B,C}-ra: 50 {B,D}-ra: 34 {C,D}-ra: 48 {A,B,C}-ra: 69 {A,B,D}-ra: 55 {A,C,D}-ra: 55 {B,C,D}-ra: 57 {A,B,C,D}-ra: 76 - {A,B,C,D} 76 {A} {B,C,D} 243 {B} {A,C,D} 246 {C} {A,B,D} 78 {D} {A,B,C} 206 {A,B} {C,D} 55 {A,C} {B,D} 264 {A,D} {B,C} 30 {B,C} {A,D} 278 {B,D} {A,C} 288 {C,D} {A,B} 50 {A,B,C} {D} 78 {A,B,D} {C} 206 {A,C,D} {B} 238 {B,C,D} {A} 24 {A,B,C,D} - 72

31 Ideális kombinatorikus árverés A C B D Az ideális kombinatorikus árverésből adódó team költség minimális, mert az minden kölcsönhatást vesz figyelembe a célpontok között, amitől egy NP-nehéz problémát kell megoldanunk. A licitek száma exponenciális a célpontok számában. Licitgenerálás, -kommunikáció és a győztes kiszámítása költséges. Tutorial on Auction-Based Agent Coordination at AAAI

32 Közelítő kombinatorikus árverés Minden ágens csak néhány célkötegre (halmazra) licitál. Licit stratégiák Melyik kötegre licitálni nagyban feltáratlan, mert egy jó köteggenerálási stratégia feladatfüggő. Jó köteggenerálási stratégiák: Kis számú köteget generálni A megoldásteret lefedő kötegeket generálni Jövedelmező kötegeket generálni Kötegeket hatékonyan generálni Dómén-független köteggenerálás pl. Három-Kombináció - 3 vagy kevesebb célpontot tartalmazó kötegre licitálni Dómén-függő köteggenerálás pl. Graph-Cut teljes célpontgráf gráf imételt szétvágása maximális vágás (közelítése) mentén. Az ilyen kombinatorikus árverésből adódó team költség alacsony, de szuboptimális lehet.

33 Szekvenciális (robotikus) árverés Körönként csak egy célpont kell el. Egy licitkörben minden ágens az összes, a mások által el nem nyert célpontra licitál. Minden ágens az új célpontra az adott pozíciójából kiinduló és az összes célpont meglátogatásához szükséges minimális költségű pályában jelentkező költségnövekményt licitálja, ha a célpontot történetesen ő nyerné meg. (BidSumPath). A győztes az ágensekre és a célpontokra nézve minimális licit. (A licitáló ágens elnyeri az adott célpontot) Néhány licitkör elteltével ágensek minden célpontot elnyernek. Minden ágens a elnyert célpontokhoz kiszámítja a költség minimál pályát és elkezdi azt követni.

34 A B C A-ra: 5 B-re: 4 C-re: 4 A B C A B C A-ra: C-re: 8 Tutorial on Auction-Based Agent Coordination at AAAI

35 Szekvenciális árverés A B {A}-ra: (86) {B}-ra: (9) {C}-ra: 23 {D}-ra: (37) C D {A}-ra: (90) {B}-ra: (85) {C}-ra: (4) {D}-ra: 27 Tutorial on Auction-Based Agent Coordination at AAAI

36 Szekvenciális árverés A {A}-ra: (07) {B}-ra: (09) {D}-ra: 2 C B D {A}-ra: (90) {B}-ra: (85) {D}-ra: 27 Tutorial on Auction-Based Agent Coordination at AAAI

37 Szekvenciális árverés A {A}-ra: (09) {B}-ra: 07 C B D {A}-ra: (90) {B}-ra: 85 Tutorial on Auction-Based Agent Coordination at AAAI

38 Szekvenciális árverés A {A}-ra: 09 C B D {A}-ra: 2 Tutorial on Auction-Based Agent Coordination at AAAI

39 Szekvenciális árverés A C B D Tutorial on Auction-Based Agent Coordination at AAAI

40 A licit {A}-ra: (86) {B}-ra: (9) {C}-ra: 23 {D}-ra: (37) {A}-ra: (07) {B}-ra: (09) {D}-ra: 2 {A}-ra: (90) {B}-ra: (85) {C}-ra: (4) {D}-ra: 27 A hozzárendelések Felső Ág. Alsó Ág. C = 23 D = 2 {A}-ra: (09) {B}-ra: 07 {A}-ra: 2 B = 85 A = 2 Minden ágensnek elegendő csak a minimális licitjeinek egyikét jelezni. Minden ágensnek az új licitet csak akkor kell jeleznie, ha az eddig licitált célpontot valaki elnyerte. (ő maga, vagy más ágens). Minden ágens körönként legfeljebb egy licittel jelentkezik és a körök száma azonos a célpontok számával. (példában a jelezni nem szükséges licitek zárójelben vannak).

41 Licitszabályok származtatása Az a győztes, amely mellett a team költség legkevesebbet nő. MiniSum: Összpályaköltség minimálása a team-re nézve. Teljes energia, távolság, valamilyen erőforrás minimálása. Pl. bolygófelszín kutatása. MiniMax: Maximális pályaköltség minimálása ágensekre nézve. Teljes feladatvégzési idő minimálása (makespan). Pl. objektum-felügyelet. MiniAve: Átlagos érkezési idő minimálása az összes célpontra nézve. Átlagos kiszolgálási idő minimálása (flowtime). Pl. Search and Rescue Pályák licitálása ( direkt megközelítés ), ill. Fák licitálása ( indirekt megközelítés ) (Pl. min. költségű kifeszítő fa = P, min. költségű pálya = NP) Pályák: mindegyik költség kiszámítása NP-nehéz közelítés: beszúrási heurisztika Fák: MiniSum minimális kifeszítő erdő P, MiniMax minmax kifeszítő erdő NP, MiniAve triviális erdő = csillagséma, Fa-pálya konverzió: shortcutting, heur. max. 2 x opt., P, (jobb közelítés = sokkal nehezebb)

42 n db ágens r,, r n, m db még nem kiosztott célpont: t,, t m, Az eddig kiosztott célok partíciója ágensenként: T = (T,, T n ), A team hatékonyságát optimalizáló f(g(r,t ),, g(r n,t n )) függvény ágensek g(.) hatékonysága alapján, PC(r i,t i ) az i-edik ágens min. pályaköltsége T i particióban (Path Cost) STC(r i,t i ) min. kummulatív célpontköltség minden T i beli célpontjára (Sum per Target Cost) MiniSum = min T Σ j PC(r j,t j ) MiniMax = min T max j PC(r j,t j ) MiniAve = min T /m Σ j STC(r j,t j ) r i ágens licitál: különbség = team hasznosság(hozzárendelés + ő győzelme) - team hasznosság (nélküle) f(g(r,t ),, g(r n,t n )) - f(g(r,t ),, g(r n,t n )), T i = T i {t}, T j = T j BidSumPath: PC(r i,t i ) - PC(r i,t i ) BidMaxPath: PC(r i,t i ) BidAvePath: STC(r i,t i ) - STC(r i,t i ).5 opt MiniSum 2 opt (fa licitek hasonlóan a minimális kifeszítő fa költségei alapján) i j

43 Szekvenciális aukció 2 ágens, 0 nem klaszter eloszlású célpont, ismert terep 5 x 5 SUM MAX AVE BidSumPath BidMaxPath BidAvePath optimális (IP) = ideális kombinatorikus árverés ágens, 0 klaszter eloszlású célpont, ismert terep 5 x 5 SUM MAX AVE BidSumPath BidMaxPath BidAvePath optimális (IP) = ideális kombinatorikus árverés