4. Előadás: Erős dualitás

Optimalizálási eljárások/operációkutatás MSc hallgatók számára 4. Előadás: Erős dualitás Előadó: Hajnal Péter 2018. Emlékeztető. A primál feladat optimális értékét p -gal, a feladat optimális értékét d -gal jelöljük d,p R {, }). Igaz a következő Gyenge-dualitás tétel): d p. 1. Erős dualitás Az erős dualitás tételről akkor beszélünk, ha d = p -t garantálni tudjuk bizonyos feltételek mellett. A bizonyos feltételekre sokféle lehetőség van. Egész iparág alakult ilyenek kifejlesztésére. Mi csak egy lehetőséget ismeretünk. 1. Tétel Slater-tétel). Adott a következő optimalizális probléma: Minimalizáljuk Feltéve, hogy cx),-et f i x) 0 i = 1,...,k g i x) = 0 i = 1,...l Tegyük fel, hogy 1) A probléma konvex. Tehát c és f i konvex függvény, g i pedig affin függvény. Ez azt jelenti, hogy a g i x) = 0 i = 1,...,l) feltételek a következő alakban írhatók: Ax b = 0, ahol A R l n és b R l. S) Létezik olyan s D, amelyre i) f i s) < 0 i = 1,...,k) és g i s) = 0 i = 1,...,l). Speciálisan s L. ii) Továbbá s int D = {x : r > 0 Bx,r) D}, D belső pontjainak halmaza, ahol Bx,r) az x középpontú r sugarú gömb. Ekkor erős dualitás van, azaz d = p. Megjegyzés. S)-et Slater-feltételnek nevezzük. Az S)-beli feltételt kielégítő s pontokat Slater-pontoknak nevezzük. Si) és Sii) gyengíthetők. A tétel állítása igaz marad az alábbi gyengített) feltételek mellett: Si) 0 Az s Slater-ponttól csak azt kívánjuk meg, hogy f i s) < 0, ha f i nem affin, továbbá f i s) 0, ha affin. Sii) 0 s relint D = D belső pontjai D affin burkában int D relint D). Az alábbiakban a bizonyítást írjuk le egy fontos feltevés mellett: A az egyenlőség, affin feltételrendszer mátrixa) teljes sorrangú. A feltevés nélkül a bizonyítás lényegi része megmaradna, csupán néhány technikai bonyodalommal lenne hosszadalmasabb. 4-1

Bizonyítás. Észrevétel 1. S)-ből következik, hogy L amiből p <. Továbbá a gyenge dualitásból következik az erős dualitás, ha p =. Így feltehető, hogy p >. Összegezve p R. Legyen E = {ϕ 1,ϕ 2,...,ϕ k,γ 1,γ 2,...,γ l,τ) R k R l R : x D,hogy F = {0,0,...,0,τ) R k R l R : τ < p }. Észrevétel 2. E, F konvexek Észrevétel 3. E zárt a ϕ i és τ koordináták növelésére. 2. Lemma. E F =. ϕ i f i x) i = 1,...,k γ i = g i x) i = 1,...,l τ cx)}, Bizonyítás. Lemmáé) Indirekt úton fogjuk bizonyítani. Tegyük fel, hogy v E F, azaz v E és v F. v F azt jelenti, hogy v = 0,...,0,τ), ahol τ < p. v E azt jelenti, hogy van olyan x D, amelyre f i x) 0, g i x) = 0, továbbá τ cx). Azaz x L, továbbá cx) τ < p, ami ellentmondás. 3. Tétel Konvex halmazok szeperációs tétele Farkas lemma). K, L konvex és K L = akkor létezik H hipersík, amely elválasztja a két halmazt. Azaz úgy osztja fel a teret H és H zárt félsíkokra, hogy H K és H L. Ebből a tételből és a 2. Lemmából adódik, hogy létezikn = λ 1,λ 2,...,λ k,µ 1,...,µ 2,ν) n R k+l+1 = R k R l R) nem-nulla vektor és α valós szám, hogy a H n,α = {x R k+l+1,n T x = α} hipersík két félterére: H n,α = {x Rk+l+1 : n T x α} E, H n,α = {x R k+l+1 : n T x α} F. A 3. Észrevételből tudjuk, hogy az első k és az utolsó koordináta növelésével E-ben és így H -ben is maradunk. Ebből λ 0 és ν 0. Észrevétel 4. 0,0,p ǫ) F, amiből 0,0,p ǫ) H, azaz νp ǫ) α. Mivel ǫ > 0 tetszőleges, ǫ ց 0 esetén kapjuk, hogy νp α. Észrevétel 5. x D esetén fx),gx),cx)) E, speciálisan H ). Kaptuk, hogy minden x D esetén: k λ i f i x)+ µ i g i x)+νcx) α. 4-2

A bizonyítás befejezése két eset vizsgálatára bomlik. 1. eset: ν 0 ν > 0). Ekkor minden x D-re Adódik λi L ν, µ ) i ν,x = k λi ) k ν egyenlőtlenségből adódik, hogyd c λ i λ i ν f ix)+ µ i ν g ix)+cx) α ν. λi c ν, µ ) i α ν ν p. a duális optimalizálási feladat lehetséges megoldásai. Ebből és az előző ) p. A gyenge dualitással összevetve, kapjuk az erős dualitást. 2. eset: ν = 0., µ i ν ν Ekkor k λ if i x)+ l µ ig i x) α νp = 0 minden x D esetén. Írjuk fel az egyenlőtlenséget x = s pontra, ahol s egy Slater-pont. k λ i f i s)+ µ i g i s) 0, ahol λ i 0,f i s) < 0 és g i s) = 0. Ekkor minden i-re λ i -nek nullának kell, hogy legyen. Kiinduló egyenlőtlenségünk újra egyszerűsödik: µ i g i x) 0, ami átírva µ T Ax b) 0 minden x D-re. Legyen x = s+δ, ahol δ R k+l+1 és δ < r 0, ahol r 0 olyan kicsi, hogy Bs,r 0 ) D. µ T As+δ) b) = µ T As+Aδ b) = µ T b+aδ b) = µ T Aδ = µ T A) i δ i 0. Ez teljesül δ-ra is, amiből µ T A = 0. Kezdeti feltételünk A teljes sorrangú) miatt µ = 0. Így n = λ,µ,ν) = 0, ami ellentmondás. 2. Lazaság slackness) Jelölés. Legyen x L. Azt mondjuk, hogy x-ben az i-edik egyenlőtlenség feltétel laza, ha f i x) < 0. Legyen x primál optimális hely és λ,µ ) duál optimális hely. Speciálisan λ 0. A gyenge duálitás bizonyítását összefoglaljuk. Legyen Lλ,µ,x) = cx)+λ ) T fx)+µ ) T gx). Ekkor d = cλ,µ ) = inflλ,µ,x) = inf x D cx)+λ ) T fx)+µ ) T gx)) cx )+λ ) T fx )+µ ) T gx ) cx ) = p. Amennyiben erős dualitás van, akkor végig egyenlőség teljesül. 4-3

Definíció. Legyen x 0 primál lehetséges megoldás, azaz f i x 0 ) 0, g i x 0 ) = 0. Legyen λ 0,µ 0 ) duál lehetséges megoldás, azaz λ 0 ) i 0. Ezen megoldáspár rendelkezik a komplemetáris lazasági tulajdonsággal, ha i) f i x 0 ) < 0, akkor λ 0 ) i = 0. ii) λ 0 ) i > 0, akkor f i x 0 ) = 0. Észrevétel. Az első egyenlőtlenségben akkor és csak akkor van egyenlőség, ha x és λ,µ ) komplementárisan laza tulajdonságú. Észrevétel. Ha a második egyenlőtlenség egyenlőség, akkor cx) + λ ) T fx) + µ ) T gx) függvényeknek x egy optimális helye. Tegyük fel, hogy c és f i függvények differenciálhatók. Ekkor cx )+λ ) T fx )+µ ) T gx ) = 0. Abból, hogy c, f i konvexek és g i affin következik, hogy cx) + λ ) T fx) + µ ) T gx) is konvex λ 0). Ekkor a fenti feltétel szükséges és elégséges is a második egyenlőtlenség egyenlőségként való teljesüléséhez. 3. Karush Kuhn Tucher-tétel A tétel Karush MSc tézise volt a 30-as években. Később Kuhn és Tucker is felfedezik a tételt és ők tették ismertté az 50-es években. Összefoglalva a fentieket: Tegyük fel, hogy c,f i differenciálhatóak, x primál optimum, és λ,µ ), duál optimum. Továbbá tegyük fel, hogy erős dualitás van. Karash Kuhn Tucker-feltételek x,λ,µ -ra a következők: KKT1) f i x ) 0 és g i x ) = 0, azaz x primál lehetséges megoldás. KKT2) λ i 0, azaz λ,µ ) duál lehetséges megoldás. KKT3) x és λ,µ ) komplementárisan laza tulajdonságú. KKT4) c)x )+λ ) T fx )+µ ) T gx ) = 0. 4. Tétel KKT tétel). Tegyük fel, hogy g i affin függvény, c,f i konvex és differenciálható függvények. Akkor és csak akkor van erős dualitás, ha van olyanx 0 és λ 0,µ 0 ), amelyek teljesítik a KKT1), KKT2), KKT3), KKT4) feltételeket. Sőt, ha van ilyen x 0,λ 0,µ 0 ), akkor ezek primál és duál optimum helyek. Bizonyítás. A szükségességet láttuk korábban. Az elégséghez cλ 0,µ 0 ) = infcx)+λ T 0 fx)+µt 0 gx)) = cx 0 )+λ T 0 fx 0)+µ T 0 gx) = cx 0 ). KKT4) KKT3) Hiszen KKT4 a differenciálhatósági és konvexitási feltétel miatt szükséges és elegendő feltétele annak, hogy x 0 optimum hely legyen. Ezekután d KKT2) cλ 0,µ 0 ) = cx 0 ) KKT1) p gyenge dualitás Az egyenlőtlenség láncból kiolvasható, hogy végig egyenlőség teljesül, azaz erős dualitás van, x 0 primál optimál hely és λ 0,µ 0 ) duál optimál hely. 4-4 d.

Példa. Minimalizáljuk 1 2 xt Px+q T x+r-et Feltéve, hogy Ax = b, ahol P S+. n cx) konvex P S+ n ) és differenciálható, azaz KKT tétel alkalmazható. Olyan x 0,µ 0 értékeket kell keresnünk, amelyek mind a négy Karush Kuhn-Tucker-feltételt teljesítik: KKT1): Ax 0 = b. KKT2):. KKT3):. KKT4): cx 0 )+µ T 0 Ax b) x=x 0 = 0, azaz Px 0 +q +A T µ 0 = 0. A keresett x 0,µ 0 -k tulajdonságai összefoglalva: ) ) ) Pn n A T n k x0 q =. A k n 0 b Ezen egyenletrendszer megoldhatóságának diszkussziója, illetve megoldhatóság esetén a megoldás megkeresése egyszerű lineáris algebrai feladat. Példa. Minimalizáljuk µ 0 Feltéve, hogy x 2 1 +x2 2 5, 2x 2 1 +2x 1 x 2 +x 2 2 10x 1 10x 2 -et 3x 1 +x 2 6. Esetünkben D = R 2. Könnyen ellenőrizhető, hogy a célfüggvény konvex, az egyenlőtlenség feltételek f i függvényei is konvexek, minden előforduló függvény differenciálható. A KKT olyan primál/duál x 1,x 2,λ 1,λ 2 helyett keres, amelyek eleget tesznek a primál/duál feltételeknek KKT1) és KKT2)): x 2 1 +x2 2 5, 3x 1 +x 2 6, λ 1 0, λ 2 0. Továbbá KKT4) is teljesül. Ehhez: 2x 2 1 +2x 1 x 2 +x 2 2 10x 1 10x 2 ) = x 2 1 +x 2 2x1 2 5) = 2x 2 Azaz KKT4) teljesülése kiírva: ) 4x1 +2x 2 10, 2x 1 +2x 2 10 ), 3x 1 +x 2 6) = ) 3. 1 4x 1 +2x 2 10+2λ 1 x 1 +3λ 2 = 0, 2x 1 +2x 2 10+2λ 1 x 2 +λ 2 = 0. Amit még tudnia kell számnégyesünknek, az a komplementáris hézagosság tulajdonsága. Ez négyféle módon teljesülhet: I : x 2 1 +x2 2 = 5 és λ 1 0, 3x 1 +x 2 = 6 és λ 2 0. 4-5

II : x 2 1 +x2 2 < 5 és λ 1 = 0, 3x 1 +x 2 < 6 és λ 2 = 0. III : x 2 1 +x 2 2 < 5 és λ 1 = 0, 3x 1 +x 2 = 6 és λ 2 0. IV : x 2 1 +x 2 2 = 5 és λ 1 0, 3x 1 +x 2 < 6 és λ 2 = 0. Elemi módszerekkel megállapítható, hogy I, II és III nem vezet megfelelő számnégyeshez. A IV lehetőség viszont, elvezet a x 1 = 1,x 2 = 2,λ 1 = 1,λ 2 = 0 megoldáshoz. Ebből adódik,hogy1, 2) egy primál optimális megoldás, 1, 0) egy duál optimális megoldás. Továbbá erős dualitás áll fenn. 4-6