Diszkrét Matematika MSc hallgatók számára 4. Előadás Előadó: Hajnal Péter Jegyzetelő: Szarvák Gábor 2012. február 28. Emlékeztető. A primál feladat optimális értékét p -gal, a feladat optimális értékét d -gal jelöljük d, p R {, }). Igaz a következő Gyenge-dualitás tétel): d p. 1. Erős dualitás Az erős dualitás tétel azt mondja ki, hogy d = p bizonyos feltételek mellett. A bizonyos feltételekre sokféle lehetőség van. Egész iparág alakult ilyenek kifejlesztésére. Mi csak egy lehetőséget ismeretünk. 1. Tétel Slater-tétel). Adott a következő optimalizális probléma: Tegyük fel, hogy Minimalizáljuk cx),-et Feltéve, hogy f i x) 0 i = 1,..., k g i x) = 0 i = 1,...l 1) A probléma konvex. Tehát c és f i konvex függvény, g i pedig affin függvény. Ez azt jelenti, hogy a g i x) = 0 i = 1,..., l) feltételek a következő alakban írhatók: Ax b = 0, ahol A R l n és b R l. S) Létezik olyan s D, amelyre f i s) < 0 i = 1,...,k) és g i s) = 0 i = 1,..., l). Speciálisan s L. Továbbá s int D = {x i : r > 0 Bx, r) D}, D belső pontjainak halmaza, ahol Bx, r) az x középpontú r sugarú gömb. Ekkor erős dualitás van, azaz d = p. Megjegyzés. S)-et Slater feltételnek nevezzük. Az S)-beli feltételt kielégítő s pontokat Slater-pontoknak nevezzük. 1) és S) gyengíthetők. A tétel állítása igaz marad az alábbi gyengített) feltételek mellett: 1) 0 f i x) < 0, ha f i nem affin, továbbá f i s) 0, ha affin. S) 0 s relint D = D belső pontjai D affin burkában int D relint D). Az alábbiakban a bizonyítást írjuk le egy fontos feltevés mellett: A teljes sorrangú. A feltevés nélkül a bizonyítás megmaradna, csupán néhány technikai bonyodalommal lenne hosszadalmasabb. 4-1
Bizonyítás. Észrevétel 1. S)-ből következik, hogy L amiből p <. Továbbá a gyenge dualitásból következik az erős dualitás, ha p =. Így feltehető, hogy p >. Összegezve p R! Legyen E = {ϕ 1, ϕ 2,...,ϕ k, γ 1, γ 2,...,γ l, τ) R k R p R : x D, hogy F = {0, 0,..., 0, τ) R k R l R : τ < p }. Észrevétel 2. E, F konvexek Észrevétel 3. E zárt a ϕ i és τ koordináták növelésére. 2. Lemma. E F =. ϕ i f i x) i = 1,...,k γ i = g i x) i = 1,..., l τ cx)}, Bizonyítás. Lemmáé) Indirekt úton fogjuk bizonyítani. Tegyük fel, hogy v E F, azaz v E és v F. v F azt jelenti, hogy v = 0,...,0, τ), ahol τ < p. v E azt jelenti, hogy van olyan x D, amelyre f i x) 0, g i x) = 0, továbbá τ cx). Az első kettő feltételből kapjuk, hogy cx) p, amiből τ p. Ellentmondás. 3. Tétel Konvex halmazok szeperációs tétele Farkas lemma). K, L konvex és K L = akkor létezik H hipersík, amely elválasztja a két halmazt. Azaz úgy osztja fel a teret H és H zárt félsíkokra, hogy H K és H L. Ebből a tételből és a 2. Lemmából adódik, hogy létezik n = λ 1, λ 2,...,λ k, µ 1,...,µ 2, ν) n R k+l+1 = R k R l R) nem-nulla vektor és α valós szám, hogy a H n,α = {x R k+l+1, n T x = α} hipersík két félterére: H n,k = {x Rk+l+1 : n T x α} E, H n,k = {x Rk+l+1 : n T x α} F. A 3. Észrevételből tudjuk, hogy az első k és az utolsó koordináta növelésével E-ben és így H -ben is maradunk. Ebből λ 0 és ν 0. Észrevétel 4. 0, 0, p ǫ) F, amiből 0, 0, p ǫ) H, azaz νp ǫ) α. Mivel ǫ > 0 tetszőleges, ǫ ց 0 esetén kapjuk, hogy νp α. Észrevétel 5. x D esetén fx), gx), cx)) E, továbbá H ). Kaptuk, hogy minden x D esetén: λ i f i x) + µ i g i x) + νcx) α. 4-2
A bizonyítás befejezése két eset vizsgálatára bomlik. 1. eset: ν 0 ν > 0). Ekkor minden x D-re Adódik L ν, µ ) i ν, x = λ i ν f ix) + µ i ν g ix) + cx) α ν. ĉ ν, µ ) i α ν ν p. ) k ν egyenlőtlenségből adódik, hogy d L λ i a duális optimalizálási feladat lehetséges megoldásai. Ebből és az előző ) p. A gyenge dualitással összevetve, kapjuk az erős dualitást. 2. eset: ν = 0., µ i ν ν Ekkor k λ if i x) + l µ ig i x) α νp = 0 minden x D esetén. Írjuk fel az egyenlőtlenséget x = s pontra, ahol s egy Slater-pont. λ i f i s) + µ i g i s) 0, ahol λ i 0, f i s) < 0 és g i s) = 0. Ekkor minden i-re λ i -nek nullának kell, hogy legyen. Kiinduló egyenlőtlenségünk újra egyszerűsödik: µ i g i x) 0, ami átírva µ T Ax b) 0 minden x D-re. Legyen x = s + δ, ahol δ R k+l+1 és δ < r 0, ahol r 0 olyan kicsi, hogy Bs, r 0 ) D. µ T As + δ) b) = µ T As + Aδ b) = µ T b + Aδ b) = µ T Aδ = µ T A) i δ i 0. Ez teljesül δ-ra is, amiből µ T A = 0. Kezdeti feltételünk A teljes sorrangú) miatt µ = 0. Így n = λ, µ, ν) = 0, ami ellentmondás. 2. Lazaság slackness) Jelölés. Legyen x L. Azt mondjuk, hogy x-ben az i-edik egyenlőtlenség feltétel laza, ha f i x) < 0. Legyen x primál optimális hely és λ, µ ) duál optimális hely. Speciálisan λ 0. A gyenge duálitás bizonyítását összefoglaljuk. Legyen Lλ, µ, x) = cx) λ T fx) + µ T gx). Ekkor d =ĉλ, µ ) = inf Lλ, µ, x) = inf x D cx) + λ T fx) + µ T gx)) cx ) + λ T fx ) + µ T gx ) cx ) = p. Amennyiben erős dualitás van, akkor végig egyenlőség teljesül. 4-3
Definíció. Legyen x 0 primál lehetséges megoldás, azaz f i x 0 ) 0, g i x 0 ) = 0. Legyen λ 0, µ 0 ) duál lehetséges megoldás, azaz λ 0 ) i 0. Ezen megoldáspár rendelkezik a komplemetáris lazasági tulajdonsággal, ha i) f i x 0 ) < 0, akkor λ 0 ) i = 0. ii) λ 0 ) i > 0, akkor f i x 0 ) = 0. Észrevétel. Az első egyenlőtlenségben akkor és csak akkor van egyenlőség, ha x és λ, µ ) komplementárisan laza tulajdonságú. Észrevétel. Ha a második egyenlőtlenség egyenlőség, akkor cx)+λ T fx)+µ T gx) függvényeknek x egy optimális helye. Tegyük fel, hogy c és f i függvények differenciálhatók. Ekkor cx ) + λ T fx ) + µ T gx ) = 0. Abból, hogy c, f i konvexek és g i affin következik, hogy cx) + λ T fx) + µ T gx) is konvex λ 0). Ekkor a fenti feltétel szükséges és elégséges is a második egyenlőtlenség egyenlőségként való teljesüléséhez. 3. Karash Kuhn Tucher-tétel A tétel Karash MSc tézise volt a 30-as években. Később Kuhn és Tucker is felfedezik a tételt és ők tették ismertté az 50-es években. Összefoglalva a fentieket: Tegyük fel, hogy c, f i differenciálhatóak, x primál optimum, és λ, µ ), duál optimum. Továbbá tegyük fel, hogy erős dualitás van. Karash Kuhn Tucker-feltételek x, λ, µ -ra a következők: KKT1) f i x ) 0 és g i x ) = 0, azaz x L. KKT2) λ i 0, azaz λ, µ ) duál lehetséges megoldás. KKT3) x és λ, µ ) komplementárisan laza tulajdonságú. KKT4) c)x ) + T fx ) + µ gx ) = 0. 4. Tétel KKT tétel). Tegyük fel, hogy g i affin függvény, c, f i konvex és differenciálható függvények. Akkor és csak akkor van erős dualitás, ha van olyan x 0 és λ 0, µ 0 ), amelyek teljesítik a KKT1), KKT2), KKT3), KKT4) feltételeket. Sőt, ha van ilyen x 0, λ 0, µ 0 ), akkor ezek primál és duál optimum helyek. Bizonyítás. A szükségességet láttuk korábban. Az elégséghez ĉλ 0, µ 0 ) = infcx)+λ T 0 fx)+µt 0 gx)) = cx 0 )+λ T 0 fx 0)+µ T 0 gx) = cx 0 ). KKT4) KKT3) Hiszen KKT4 a differenciálhatósági és konvexitási feltétel miatt szükséges és elegendő feltétele annak, hogy x 0 optimum hely legyen. Ezekután d KKT2) ĉλ 0, µ 0 ) = cx 0 ) p KKT1) gyenge dualitás Az egyenlőtlenség láncból kiolvasható, hogy végig egyenlőség teljesül, azaz erős dualitás van, x 0 primál optimál hely és λ 0, µ 0 ) duál optimál hely. 4-4 d.
Példa. Minimalizáljuk 1 2 xt Px + q T x + r-et Feltéve, hogy Ax = b, ahol P S+ n. cx) konvex P S+) n és differenciálható, azaz KKT tétel alkalmazható. Olyan x 0, µ 0 értékeket kell keresnünk, amleyek mind a négy Karush Kuhn-Tucker-feltételt teljesítik: KKT1): Ax 0 = b. KKT2):. KKT3):. KKT4): cx 0 ) + µ T 0 Ax b) x=x0 = 0, azaz Px 0 + q + A T µ 0 = 0. A keresett x 0, µ 0 -k tulajdonságai összefoglalva: Pn n A T n k A k n 0 ) ) x0 = µ 0 q b Ezen egyenletrendszer megoldhatóságának diszkussziója, illetve megoldhatóság esetén a megoldás megkeresése egyszerű lineáris algebrai feladat. ). 4-5