Programtervező matematikusok számára. Verzió: 2004. április 1. Kovács Margit. docens

OPERÁCIÓKUTATÁS II. Programtervező matematikusok számára Verzió: 2004. április 1. Kovács Margit docens ELTE TTK Operációkutatási Tanszék

Tartalomjegyzék 1. Függvények 3 2. Függvények optimalitása 3 2.1. Feladatok......................................... 6 3. Konvex halmazok 7 3.1. Műveletek konvex halmazokkal............................. 7 3.2. Feladatok......................................... 10 4. Konvex függvények 12 4.1. Konvex függvények karakterizációi........................... 12 4.2. Konvex függvények függvényei............................. 14 4.3. Konvex függvényekkel definiált halmazok....................... 15 4.4. Feladatok......................................... 17 5. Feltételes szélsőértékproblémák 19 5.1. Feladatok......................................... 20 6. Lagrange multiplikátorok módszere 21 6.1. Feladatok......................................... 24 7. Optimalitási kritériumok 25 7.1. Szükséges feltételek differenciális alakban....................... 25 7.2. Feladatok......................................... 29 7.3. Konvex MP feladatok optimalitási kritériumai.................... 31 7.4. Feladatok......................................... 33 7.5. Megengedett irányok módszere............................. 34 7.6. Feladatok......................................... 35 7.7. Nyeregpontfeltételek................................... 36 7.8. Feladatok......................................... 39 8. A lineáris komplementaritási feladat megoldása 40 8.1. Feladatok......................................... 49 9. Kvadratikus programozás 51 9.1. Feladatok......................................... 54 10.Hiperbolikus programozás 55 10.1. Feladatok......................................... 57 11.Egyváltozós unimodális függvények minimalizálása 58 11.1. Intervallumfelezési eljárás................................ 58 11.2. Aranymetszés módszere................................. 59 11.3. Feladatok......................................... 61 12. Egyváltozós függvények minimalizálása: töröttvonal és érintő módszer 62 12.1. Töröttvonal módszer.................................. 63 12.2. Érintő módszer...................................... 64 12.3. Feladatok......................................... 66 2

1. Függvények Jelölje D(f) R n az f függvény értelmezési tartományát, azaz legyen D(f) = {u R n : < f(u) < }. 1.1. Definíció. Az U R n -en értelmezett f(u) függvény epigráfjának az epi f = {(u, η) R n+1 : u U, η f(u)} halmazt nevezzük. 1.2. Definíció. Az U R n -en értelmezett f(u) függvény alsó nívóhalmazának (röviden nívóhalmazának) az L f (c) = {u D(f) : f(u) c}, c R halmazt nevezzük. 2. Függvények optimalitása 2.1. Definíció. u U lokális minimumpontja az f : D(f) R függvénynek az U D(f) halmazon, ha O δ (u ) környezete úgy, hogy f(u) f(u ) u U O δ (u ). (2.1) Ha (2.1) teljesül u U, akkor u globális minimumpont. 2.1. Tétel. Legyen f : D(f) R, u U D(f) R n és f C 1 (U O ε (u )) (folytonosan differenciálható). Akkor f (u ), u u 0 u U O ε (u ) (2.2) szükséges feltétele annak, hogy u lokális minimumpont legyen. Ha O ε (u ) U, akkor a szükséges feltételaz f (u ) = 0 alakot ölti. Legyen u U O ε (u ) és α [0, 1]. Akkor Innét f(u + α(u u )) f(u ) = α f (u ), u u + o(α) 0. f (u ), u u + o(α) 0 α (0, 1). α α 0-val kapjuk a (2.2) egyenlőtlenséget. Ha O ε (u ) U, akkor v R n -hez ε 0 > 0 úgy, hogy u = u + εv O ε (u ) ε : ε < ε 0, ezért Innét f (u ), u + εv u 0 ε : ε < ε 0, v R n. ε f (u ), v 0 ε : ε < ε 0, v R n, vagyis f (u ), v = 0 v R n, ami csak f (u ) = 0 mellett teljesül. 3

2.2. Definíció. Az {u k } U az f : D(f) R függvény minimalizáló sorozata az U D(f) halmazon, ha lim f(u k) = f = inf f(u). k u U 2.3. Definíció. Az U = {u U D(f) : f(u) = f = inf v U f(v)} az f : D(f) R függvény minimumhalmaza az U D(f) halmazon. 2.2. Tétel. (Weierstrass tétele) Legyen az f(u) függvény folytonos a kompakt U D(f) halmazon. Akkor 1. f = inf f(u) > ; u U 2. U = {u U : f(u) = f } kompakt; 3. f(u) minden minimalizáló sorozata U-n tart U -hoz. Legyen {u k } U minimalizáló sorozat, azaz lim f(u k) = f. Mivel U kompakt, {u k } sorozatnak k van legalább egy torlódási pontja, és minden torlódási pontja U-ban van. Legyen u U egy torlódási pont. {u k }-ból kiválasztható egy konvergens részsorozat: {u km }, u km u, ha m. Kihasználva f(u) folytonosságát és f definicióját: f f(u ) = lim inf m f(u k m ) = lim k f(u k) = f, következésképpen f(u ) = f. Ebből következik, hogy f >, U és minden minimalizáló sorozat valamennyi torlódási pontja U -beli. Legyen {v k } U. Mivel U kompakt és {v k } U, ezért kiválasztható belőle konvergens részsorozat {v km } v U. A {v k } sorozat minimalizáló f(u)-ra, mivel f(v k ) = f, ezért minden torlódási pontja, így v is U -beli, azaz U zárt. Tehát U egy kompakt halmaz zárt részhalmaza, így ő maga is kompakt. Legyen {u k } egy minimalizáló sorozat. Legyen ρ(u k, U ) = inf u U ρ(u k, u) 0 = lim inf k ρ(u k, U ) 0. lim sup ρ(u k, U ) = lim ρ(u k m, U ) = a. k m U kompaktsága miatt kiválasztható az {u km } sorozatból egy u ponthoz konvergáló részsorozat. Az általánosság megszorítása nélkül feltehető, hogy ez a részsorozat maga az {u km } részsorozat. A ρ(u, U ) függvény folytonos, így lim ρ(u k m m, U ) = ρ(u, U ) = a. Minthogy u egy minimalizáló sorozat torlódási pontja, a korábbiak szerint u U, azaz ρ(u, U ) = a = 0. Ezért 0 lim inf k ρ(u k, U ) lim sup ρ(u k, U ) = 0. k Ez azt jelenti, hogy bármely minimalizáló sorozat tart U -hoz. 4

2.3. Tétel. Legyen f(u) folytonos a zárt, nem üres U D(f) halmazon, továbbá valamilyen v U-ra L f (f(v)) = {u U : f(u) f(v)} legyen korlátos. Akkor f >, U kompakt és f(u) minden minimalizáló {u k } L f (f(v)) sorozatra {u k } U. Mivel f(u) > f(v), ha u U \ L f (f(v)), f(u) f(v), ha u L f (f(v)), a f(u) függvény nem veheti fel az infimumát az U \ L f (f(v)) halmazon. Ezért elég a vizsgálatot az L f (f(v)) halmazra szorítani. A f folytonossága miatt L f (f(v)) zárt, a feltétel szerint korlátos, tehát kompakt. A Weierstrass tételből ezért következik a tétel minden állítása. 2.4. Tétel. Legyen U D(f) nem üres, zárt halmaz, f(u) folytonos U-n, és tegyük fel, hogy lim f(u k) = + k minden olyan {u k } U sorozatra, amelyre lim k u k = teljesül. Akkor f >, U kompakt halmaz és minden minimalizáló sorozat tart U -hoz. Ha U korlátos, akkor Weierstrass tétele alapján igaz az állítás. Tegyük fel, hogy U nem korlátos. Akkor létezik legalább egy {u k } U sorozat, melyre lim u k = +. k Akkor a feltétel szerint lim f(u k) = +. k Válasszunk tetszőleges olyan v U pontot, melyre f(v) > f. Tekintsük az L f (f(v)) = {u U : f(u) f(v)} szinthalmazt. L f (f(v)) korlátos, mert ha nem lenne az, akkor létezne {w k } L f (f(v)) sorozat, amelyikre lim w k = + és erre a sorozatra lim f(w k) = +, ami ellentmond annak, hogy k k f(w k ) f(v) < +. L f (f(u)) korlátossága miatt a tétel valamennyi állítása következik az 2.3. Tételből. 5

2.1. Feladatok 2.1.1. Feladat. Minimalizáló sorozat-e 1.) az f(x) = x2 1 + x 4, (x R) függvényre az x k = k, k = 1, 2,... sorozat? 2.) az f(u) = u 1 + u 2, (u Rn ) függvényre az u k = k 1 sorozat, ahol a 1 = (1, 1,..., 1)? 2.1.2. Feladat. Indokolja meg, fog-e minden U-beli minimalizáló sorozat konvergálni az f(u) függvény U-beli minimumhelyéhez konvergálni, ha 1.) U = R n és f(u) = u 2? 2.) U = {u = (x, y) R 2 : x + 3y 1, x 0, y 0} és f(u) = x + y? 3.) U = {u = (x, y) R 2 : 2x + y 3, x 0, y 0} és f(u) = x + 2y? 2.1.3. Feladat. Felveszi-e az f(u) függvény a minimumát az U halmazon, ha 1.) U = {u R : 1 u és f(u) = u2 1 + u 4? 2.) U = R n és f(u) = u 3? 3.) U = {u = (x, y) R 2 : x 0, y 0} és f(u) = x + 1 y? 4.) U = {u = (x, y) R 2 : x 1, 0 y 1} és f(u) = x + 1 y? 6

3. Konvex halmazok 3.1. Definíció. U R n konvex, ha u, v U, α [0, 1] esetén: αu + (1 α)v U 3.1. Műveletek konvex halmazokkal 3.1.1. Definíció. Halmazok összege: A i R n, i = 1,..., m esetén A = m A i = {a R n : a = m a i, a i A i }. Halmazok különbsége: A, B R n esetén C = A B = {c R n : c = a b, a A, b B}. Halmazok skalárszorosa: A R n, λ R esetén B = λa = {b R n : b = λa, a A}. Halmazok Descartes szorzata: A i R ni, i = 1,..., m esetén A = A 1... A m = m A i = {a = (a 1,..., a m ) R n1+...+nm : a i A i, i = 1,..., m}. Megjegyzés. Általában A + A 2A és A A {0}, de 2A A + A és {0} A A. 3.1.1. Tétel. Ha A i, i = 1,..., m, A, B az R n konvex halmazai, akkor 1) A = m A i, 2) C = A B, 3) B = λa, λ R is konvex. 1. a, b A = a m a i, b = m b i, a i A i b i A i = αa + (1 α)b = m (αa i + (1 α)b i ) A. } {{ } A i 7

2. c 1, c 2 C = c 1 = a 1 b 1, a 1 A, b 1 B c 2 = a 2 b 2, a 2 A, b 2 B = αc 1 + (1 α)c 2 = α(a 1 b 1 ) + (1 α)(a 2 b 2 ) 3. a, b B = a = λa 0, b = λb 0, a 0, b 0 A = (αa 1 + (1 α)a 2 ) (αb 1 + (1 α)b 2 ) C. } {{ } } {{ } A B = αa + (1 α)b = λ(αa 0 + (1 α)b 0 ) B. } {{ } A 3.1.2. Tétel. Ha A i R ni, i = 1,..., m, konvex halmazok akkor A = a, b m A i = a = (a 1,..., a m ), b = (b 1,..., b m ), b i A i, i = 1,..., m = m λa + (1 λ)b = (λa 1 + (1 λ)b 1,..., λa m + (1 λ)b m ) A i. } {{ } } {{ } A 1 A m m A i is konvex. 3.1.3. Tétel. Ha A i R n, i = 1,..., m, konvex halmazok, akkor a C = m A i halmaz is konvex. a, b C = a, b A i i = 1,..., m = αa + (1 α)b A i i = 1,..., m = αa + (1 α)b m A i = C. 3.1.2. Definíció. Az {u 1,..., u m } U pontrendszer konvex kombinációja az u = m α i u i pont, ahol α i 0 (i = 1,..., m) és m α i = 1. 3.1.4. Tétel. Az U R n halmaz akkor és csak akkor konvex, ha tartalmazza bármely véges számú elemének konvex kombinációját. 8

Elégségesség. Ha U tartalmazza bármely véges számú elemének konvex kombinációját, akkor bármely két elemének konvex kombinációját is tartalmazza, így definíció szerint konvex. Szükségesség. Teljes indukcióval bizonyítunk. Mivel U konvex, tartalmazza bármely két elemének konvex kombinációját. Tegyük fel, hogy U tartalmazza bármely m 1 elemének konvex kombinációját. Legyen u = m α i u i, 0 α i 1, m α i = 1. Ha valamelyik α i = 0, akkor u előáll a többi, (m 1) számú u j (j i) konvex kombinációjaként, így u U. Legyen 0 < α i < 1 (i = 1,..., m) és vezessük be a β i = α i 1 α (i = 1,..., m 1) változókat. m Nyilvánvalóan 0 < β i < 1 (i = 1,..., m) és m 1 β i = 1, továbbá v = m 1 β i u i U. Mivel u = (1 α m )v + α m u m, így u U. 3.1.3. Definíció. Az U-t tartalmazó konvex halmazok metszete az U konvex burka. Jele: co U. Nyilvánvalóan co U a legszűkebb U-t tartalmazó konvex halmaz. 3.1.5. Tétel. U konvex burka a véges sok U-beli elem konvex kombinációjaként előálló pontok halmaza. Legyen W az U-beli elemek végeselemű konvex kombinációinak a halmaza. Nyilvánvalóan U W. Mivel U co U és co U konvex, így tartalmazza a co U-beli elemek véges elemszámú konvex kombinációit, így az U-beliekét is, azaz co U W. Másrészt, W konvex. Ugyanis, ha és akkor u = p α i u i, u i W, 0 α i 1 (i = 1,..., p), v = q β i v i, v i W, 0 β i 1 (i = 1,..., q), p α i = 1 q β i = 1, v α = αu + (1 α)v = p αα i u }{{} i + q (1 α)β i v i ; } {{ } 0 0 p αα i + q (1 α)β i = 1, így v α konvex kombinációja p + q számú elemnek, azaz v α W. Mivel co U a legszűkebb U-t tartalmazó konvex halmaz, ezért co U W. 9

3.2. Feladatok 3.2.1. Feladat. (Carathèodory tétele) Legyen U R n, konvex halmaz, U. Jelölje co U az U halmaz konvex burkát. Bizonyítsuk be, hogy u co U előállítható n + 1-nél nem több U-beli pont konvex kombinációjaként. Legyen u co U. Mivel co U konvex, így u = m α iu i, ahol m α i = 1 és α i > 0, u i U (i = 1,..., m). (Az α i-k pozitivitásának feltételezése jogos, mert u előállításában a 0 együtthatójú tagok elhagyása csökkenti az előállító pontok számát.) Ha m n + 1, akkor a tétel állítása nyilván teljesül. Legyen m > n + 1. Vegyük az u i R n+1, u i = (u i, 1) pontokat. Mivel m > n + 1, ezek lineárisan összefüggők. Következésképpen γ i (i = 1,..., m), melyre m γ i = 0 és m γ iu i = 0, vagyis Innét m γ iu i = 0 m γ i = 0. u = m α iu i = m α iu i t m γ iu i = m (α i tγ i)u i. } {{ } =0 m Ha t elég kis pozitív szám, akkor α i tγ i 0. Mivel γ i = 0, de m γ i = 0, ezért γ i > 0. Jelölje t = αs α i = min. γ s γ i >0 γ i Innét α i tγ i 0 (i = 1,..., m), miközben α s tγ s = 0 és m (α i tγ i) = 1, így u = m (α i tγ i)u i, azaz az u-t előállító pontok száma eggyel csökkent. Ez a csökkentés mindaddig folytatható az,i s előbbiek szerint amíg az {u i} vektorrendszer lineáris összefüggősége meg nem szűnik, azaz az előállító komponensek száma legfeljebb n + 1 nem lesz. 3.2.2. Feladat. Legyenek U, V R n nemüres halmazok. Mutassuk meg, hogy co (U V ) (co U) (co V ). Mutassunk példát, amikor szigorú tartalmazás teljesül. 3.2.3. Feladat. Jelölje int U és U az U R n konvex halmaz belsejét ill. lezártját. Legyen u int U és v U. Mutassuk meg, hogy w = αu + (1 α)v int U minden α (0, 1] esetén. 3.2.4. Feladat. Mutassuk meg, hogy int U és U konvex halmazok, ha U R n konvex. 3.2.5. Feladat. Konvexek-e az alábbi halmazok (használhatja a következő fejezet eredményeit is): 1.) U = {u = (x, y) R 2 : x 2 + 3y 2 8, 3x 7y 1, x 3 + 2x 2 + y 2 + y 7, x, y 0}; 2.) U = {u = (x, y, z) R 3 : x 2 + y 2 z}; 10

3.) U = {u = (x, y, z) R 3 : x + y < 3, x + y + z 5, x, y, z 0}; 4.) U = {u = (x, y, z) R 3 : x 2 + y 2 + z 2 4, x + y + z = 1}; 5.) U = {u = (x, y) R 2 : 0 x 2, (x 3) 2 + (y 2) 2 2, 2y + x 3, x (y 3) 2 3}; 6.) U = {u = (x, y) R 2 : 0 x 2, (x 1) 2 + (y 2) 2 2, y x 1, (x 1) 2 + y 1}; 7.) U = {u = (x, y) R 2 : 0 x 2π, y 0, y sin(x) 0, y + (x 1) 2 2}; 8.) U = {(x, y, z) R 3 : 8x + y + 2z 7, x 2 + 3y 2 + 7z 10, (x + 1) 2 + 3y 2 + e 2z2 0, x, y, z 0}; 9.) U = {u = (x, y) R 2 : 0 x 1, y 0, x 2 + y 2 2, y x 1 1, x + 3y 3}? 3.2.6. Feladat. Mi a 3.2.5. Feladatban definiált halmazok belseje, lezártja, határa? 11

4. Konvex függvények 4.1. Definíció. Az f : R n R függvény konvex a konvex U D(f) halmazon, ha u, v U és λ [0, 1] esetén f(λu + (1 λ)v) λf(u) + (1 λ)f(v). (4.1) Az f(u) függvény szigorúan konvex, ha a (4.1)-ben az egyenlőség csak λ = 0 és λ = 1 esetén áll fenn, azaz f(λu + (1 λ)v) < λf(u) + (1 λ)f(v) λ (0, 1). f(u) konkáv, ha f(u) konvex. 4.1. Konvex függvények karakterizációi 4.1.1. Tétel. (Jensen egyenlőtlenség) Ha az f : R n R függvény konvex a konvex U D(f) halmazon, akkor u i U, λ i 0, i = 1,..., m és m λ i = 1 esetén f( m λ i u i ) m λ i f(u i ). U konvexitása miatt m λ i u i U. Teljes indukcióval a bizonyítás triviális. 4.1.2. Tétel. Legyen f C 1 (U) (egyszer folytonosan differenciálható) a konvex U D(f) halmazon. f(u) konvex f(u) f(v) + f (v), u v u, v U. (4.1) Szükségesség. f(u) konvex = f(v + α(u v)) f(v) α[f(u) f(v)] u, v U és α > 0. A Lagrange középértéktétel szerint: α f (v + ϑα(u v)), u v α[f(u) f(v)] (4.2) u, v U és valamilyen ϑ [0, 1] esetén. Az α > 0-val osztva és α 0 esetén (4.2)-ból kapjuk, hogy f (v), u v f(u) f(v). Elégségesség. Tegyük fel, hogy teljesül a (4.1) feltétel. Legyen u, v U és u α = αu + (1 α)v. Akkor f(u) f(u α ) f (u α ), u u α f(v) f(u α ) f (u α ), v u α. Itt az első egyenlőtlenséget α-val, a másodikat 1 α-val szorozva és a két egyenlőtlenséget összeadva kapjuk, hogy αf(u) + (1 α)f(v) f(u α ) f (u α ), αu + (1 α)v u α = 0. } {{ } =0 12

4.1.3. Tétel. Legyen f(u) C 1 (U) (egyszer folytonosan differenciálható) az U D(f) konvex halmazon. f(u) konvex U-n f (u) f (v), u v 0 u, v U. (4.3) Szükségesség. Ha f(u) konvex, akkor a 4.1.2.Tétel alapján f(u) f(v) f (v), u v, f(v) f(u) f (u), v u. A két egyenlőtlenséget összeadva: 0 f (v) f (u), u v. Elégségesség. αf(u) + (1 α)f(v) f(αu + (1 α)v) = α[f(u) f(αu + (1 α)v)] + (1 α)[f(v) f(αu + (1 α)v)] = α 1 0 +(1 α) = α(1 α) = α(1 α) f (αu + (1 α)v + t(u αu (1 α)v)), u αu (1 α)v dt+ 1 0 1 0 1 0 f (αu + (1 α)v + t(v αu (1 α)v)), v αu (1 α)v dt f (αu + (1 α)v + t(1 α)(u v) ) } {{ } =z 1 f (αu + (1 α)v + tα(v u) ), u v dt } {{ } =z 2 f (z 1 ) f 1 (z 2 ), z 1 z 2 dt 0. } {{ } t 0 4.1.4. Tétel. Legyen f(u) C 2 (U) (kétszer folytonosan differenciálható) a nyílt konvex U R n halmazon. f(u) konvex U-n f (u)ξ, ξ 0 u U, ξ R n. (4.4) Szükségesség. Legyen u U és válasszunk tetszőleges ξ R n vektort. U nyíltsága miatt ε 0 > 0 úgy, hogy ε : ε < ε 0 esetén u + εξ U. A 4.1.3. Tétel szerint f (u + εξ) f (u), εξ 0. A Lagrange középértéktételt alkalmazva: azaz f (u + ϑεξ)ξ, ξ ε 2 0, f (u + ϑεξ)ξ, ξ 0 0 ϑ 1 és ε : ε ε 0. 13

Mivel f (u) folytonos, ε 0-val kapjuk a tétel állítását. Elégségesség. Legyen u, v U, α [0, 1], ξ = u v. A Lagrange középértéktétel szerint ϑ [0, 1], hogy f (u) f (v), u v = f (v + ϑ(u v))(u v), u v = f (v + ϑξ)ξ, ξ 0 a tétel feltétele miatt, ami a 4.1.3 Tétel szerint biztosítja f konvexitását. 4.2. Konvex függvények függvényei 4.2.1. Tétel. Legyenek az f i (u), i = 1,..., m, konvexek a konvex U n D(f i ) halmazon. Akkor a f(u) = m α i f i (u) függvény is konvex U-n minden α i 0, i = 1,..., m, esetén. Legyen u, v U, β [0, 1]. f(βu + (1 β)v) = m α i f i (βu + (1 β)v) m α i [βf i (u) + (1 β)f i (v)] = β m α i f i (u) + (1 β) m α i f i (v) = βf(u) + (1 β)f(v). 4.2.2. Tétel. Legyenek az f i (u), i = 1,..., m, konvexek a konvex U m D(f i ) halmazon. Akkor az f(u) = sup f i (u) függvény is konvex U-n.,...,m Legyen u, v U, β [0, 1] és u β = βu + (1 β)v. Ekkor ε > 0-hoz i = i(ε, β) {1,..., m} úgy, hogy f(u β ) f i (u β ) + ε βf i (u) + (1 β)f i (v) + ε, ε > 0. ε 0 -val kapjuk a tétel állítását. 4.2.2.1. Következmény. g + (u) = max(g(u), 0) konvex, ha g(u) konvex. Triviális. 4.2.3. Tétel. Ha ϕ(t) monoton növő konvex függvény az [a, b] R intervallumon és a g(u) függvény konvex a konvex U D(f) halmazon, továbbá u U : g(u) [a, b], akkor az f(u) = ϕ(g(u)) függvény is konvex U-n. Legyen u, v U, és β [0, 1]. f(βu + (1 β)v) = ϕ(g(βu + (1 β)v)) ϕ(βg(u) + (1 β)g(v)) βϕ(g(u)) + (1 β)ϕ(g(v)). 14

4.2.3.1. Következmény. Ha g(u) konvex függvény a konvex U D(g) halmazon, akkor az f(u) = g p (u), p 1, f(u) = (max(0, g(u))) p = g + (u) p, p 1, f(u) = 1, ha g(u) < 0 u U, g(u) 1 f(u) = max(0, ln g(u) )p, ha g(u) < 0 u U, p 1 függvények is konvexek U-n. Triviális. 4.3. Konvex függvényekkel definiált halmazok 4.3.1. Tétel. A konvex D(f) R n halmazon értelmezett f(u) függvény akkor és csak akkor konvex, ha epi f konvex. Szükségesség. Legyen és z 1 = (u 1, η 1 ) epi f, z 2 = (u 2, η 2 ) epi f, z α = (αu 1 + (1 α)u 2, αη 1 + (1 α)η 2 ). } {{ } =u α U f(u) konvexitása miatt f(u α ) αf(u 1 ) + (1 α)f(u 2 ) αη 1 + (1 α)η 2, következésképpen z α epi f. Elégségesség. Legyen u 1, u 2 U, z 1 = (u 1, f(u 1 )) epi f, z 2 = (u 2, f(u 2 )) epi f. Az U halmaz és az epi f konvexitása miatt z α = (αu 1 + (1 α)u 2, αf(u 1 ) + (1 α)f(u 2 )) epi f, következésképpen αu 1 + (1 α)u 2 U, és αf(u 1 ) + (1 α)f(u 2 ) f(αu 1 + (1 α)u 2 ). 4.3.2. Tétel. Legyen f(u) konvex a konvex U D(f) halmazon. Akkor az M(c) = {u U : f(u) c} szinthalmaz is konvex c R. 15

Legyen c R. u, v M(c) = f(u) c és f(v) c = f(αu + (1 α)v) αf(u) + (1 α)f(v) c α [0, 1] = αu + (1 α)v M(c). 4.3.3. Tétel. Legyen U 0 m D(g i ) konvex és legyenek a g i (u), i = 1,..., m függvények konvexek U 0 -n, továbbá legyenek a h i (u); i = m+1,..., s függvények lineárisak, azaz h i (u) = a i, u b i, i = m + 1,..., s. Akkor az U = {u U 0 : g i (u) 0, i = 1,..., m, h i (u) = 0, i = m + 1,..., s} halmaz is konvex. U = s U i, ahol U i = {u U 0 : g i (u) 0}, i = 1,..., m, U i = {u U 0 : h i (u) = 0}, i = m + 1,..., s. A 4.3.2. Tétel alapján az U i, i = 1,..., m halmazok konvexek. Az U i, i = m + 1,..., s halmazok alterek, így szintén konvexek. A 3.1.1. Tétel szerint a konvex halmazok metszete is konvex. 16

4.4. Feladatok 4.4.1. Feladat. Konvexek-e az alábbi függvények: 1.) f : R n R, f(u) = u, 2.) f : R 2 R n, f(u 1, u 2 ) = u 2 1 + 2u 1 u 2 10u 1 + 5u 2, 3.) f : R 2 R n, f(u 1, u 2 ) = u 1 e (u1+u2). 4.4.2. Feladat. Konvexek-e az alábbi f függvények az adott U halmazon? 1.) f : U R, f(u) = u, U = {u R : u 0}, 2.) f : U R, f(u 1, u 2 ) = (max(ln 1 20 (u 2 1 + u 4 2), 0))p, p 1, U = {u = (u 1, u 2 ) R 2 : u 2 1 + u 4 2 < 20}, 3.) f : R 2 R, f(u 1, u 2 ) = 2(u 2 u 2 1) 2 10, U = {(u 1, u 2 ) : 1 u 1 1, 1 u 2 1}. 4.4.3. Feladat. Legyen g : R n R konvex függvény. Mutassuk meg, hogy az 1.) f(u) = max(g(u), 0), U = R n ; 2.) f(u) = 1 g(u), U = {u Rn : g(u) 0} függvények is konvexek az adott U halmazon. 4.4.4. Feladat. Határozza meg az alábbi függvények konvexitási és konkávitási tartományait: 1.) f(x, y) = sin(x + y + z), (x, y, z) R 3 ; 2.) f(x, y) = sin(x 2 + y 2 ), (x, y) R 2 ; 3.) f(x, y, z) = sin(x 2 + y 2 + z 2 ), (x, y, z) R 3 ; 4.4.5. Feladat. Tegyük fel, hogy az f : R n R függvény olyan, hogy f(u) konvex. Mutassuk meg, hogy az U = {u R n : f(u) = 0} halmaz konvex. 4.4.6. Feladat. Mutassuk meg, hogy minden u i R, λ i 0(i = 1,..., m), m ( m λ i u i ln λ i e )! ui 4.4.7. Feladat. Mutassa meg, hogy minden u i > 0, λ i 0 (i = 1,..., m), ( m ( m ) i u λ i) i u λ i 1! 4.4.8. Feladat. Mutassa meg, hogy minden u i > 0, λ i 0 (i = 1,..., m), ( m ) m λ i u i u λi i! i m λ i = 1 esetén m λ i = 1 esetén m λ i = 1 esetén 17

4.4.9. Feladat. Igazolja, hogy minden n természetes számra 1 n 1 + e n x i n (1 + e xi ) 1 n! 4.4.10. Feladat. Igazolja, hogy ln(1 + e x2 +y 2 4 ) 1 x2 1 ln(1 + e 2 ) + 2 2 ln(1 + e y 2 2 )! 4.4.11. Feladat. Igazolja, hogy minden n természetes számra 1 n 1 + n 2 ( x i ) 2 1 n 1 + x 2 i n! 18

5. Feltételes szélsőértékproblémák Legyen f : R n R. Legyenek továbbá az U i R n, i = 0,..., m + 1, halmazok olyanok, hogy int U i i = 0,..., m és int U m+1 =, ahol int U = {u U : O ε (u) U környezet} Jelölje U = m+1 U i. i=0 Az általános feltételes szélsőértékprobléma: Keressük az f = inf f(u) (5.1) u U függvényértéket, és az azt realizáló u U pontot (ha egyáltalán ilyen létezik). Az U = m+1 U i halmazt a (5.1) probléma megengedett tartományának nevezzük. i=0 5.1. Tétel. u U m+1 i= 1 Szükségesség. Tegyük fel, hogy v m+1 U i. U i = U U 1 =, ahol U 1 = {u R n : f(u) < f(u )}. i= 1 Mivel v U 1, így f(v) < f(u ), azaz u nem minimumpont, ami ellentmondás. Elégségesség. Legyen m+1 U i =. Akkor u U esetén u U 1, azaz f(u) f(u ), azaz u i= 1 minimumpont. Speciálisan matematikai programozási feladatnak nevezzük a (5.1) problémát, ha a korlátozó feltételek a következő alakú halmazokkal adottak: U i = {u R n : g i (u) 0} (i = 1,..., m), egyenlőtlenség típusú feltételek, ahol g i F(R n ) (i = 1,..., m); V i = {u R n : g i (u) = 0} (i = 1,..., s), egyenlőség tipusú feltételek, ahol g i F(R n ) (i = 1,..., s); U 0 R n, int U 0. Nyilvánvalóan int V i =, így U m+1 = s V i vehető. U 0 -ként azokat a feltételeket vesszük, amiknek egyszerű struktúrája van (pl. valamely ortáns, speciális kúp stb.). Megengedjük, hogy bármelyik típusú feltétel elmaradjon. A matematikai programozási feladatot konvex programozási feladatnak nevezzük, ha a korlátozó U R n halmaz konvex és a minimalizálandó f függvény konvex U-n. Nyilvánvaló, hogy ha a minimalizálandó f függvény és a nemlineáris egyenlőtlenség típusú feltételeket adó g i függvények konvexek, az egyenlőség típusú feltételekat adó g i függvények pedig lineárisak, akkor az optimalizálási feladat konvex programozási feladat. 19

5.1. Feladatok 5.1.1. Feladat. Irja fel az alábbi feladatok modelljét nemlineáris programozási feladattal: 1.) Melyik az az egységsugarú körbe írt háromszög, melynek olalainak a négyzetösszege maximális? 2.) Határozza meg az U = {u = (x, y) R 2 : 2x + y 4, x + y 1} halmaznak a (2, 0) ponthoz legközelebbi nemnegatív koordinátájú pontját! 3.) Határozza meg az U = {u = (x, y) R 2 : x 2y 6, 2x + y 6} halmaznak a (1, 3) ponthoz legközelebbi nemnegatív koordinátájú pontját! 4.) Legyenek α, β, γ egy háromszög szögei. Igazolja a következő egyenlőtlenséget: 5.) Igazolja, hogy sin α 2 sin β 2 sin γ 2 1 8! ln(1 + e x2 +y 2 4 ) 1 x2 1 ln(1 + e 2 ) + 2 2 ln(1 + e y 2 2 )! 6.) Igazolja, hogy minden n természetes számra 1 n 1 + n 2 ( x i ) 2 1 n 1 + x 2 i n! 7.) Igazolja, hogy minden n természetes szám és α > 0 esetén n (2i 1) α n α+1! 5.1.2. Feladat. Konvex programozási feladatok-e az alábbi problémák: 1.) 2.) 3.) x + 2 xy min y + 150 xy 1 x, y 0 x + xy min y + sin xy 1 x, y 0 x + y min x 2 + y = 5 x, y 0 20

6. Lagrange multiplikátorok módszere Ha csak egyenlőség típusú feltételek szerepelnek, azaz ha f, g i C 1 (R n ), (i = 1,..., m), akkor az f = inf f(u) (6.1) u U U = {u R n : g i (u) = 0 (i = 1,..., s)}, (6.2) feladatra az optimalitás szükséges feltételét a klasszikus analízisből ismert Lagrange multiplikátororok tétele adja. A tétel egyszerűbb kezelése érdekében vezessünk be néhány fogalmat. 6.1. Definíció. F : R n R s függvény vektorfüggvény, ha F = (f 1,..., f s ) és f i : R n R (i = 1,..., s). Az F vektorfüggvény értelmezési tartománya D(f) = s D(f i ). 6.2. Definíció. Az F = (f 1,..., f s ) : R n R s vektorfüggvény folytonos az u R n pontban, ha ott minden f i (i = 1,..., s) függvény folytonos. 6.3. Definíció. Legyen u = (v, w) R m R n m. Az F = (f 1,..., f s ) : R m R n m R s vektorfüggvény [folytonosan] differenciálható az u R m, ill. a v R n m változója szerint, ha minden f i (i = 1,..., s) [folytonosan] differenciálható u, ill. v szerint. Az f i (u, v) függvények u R m, ill.v R n m, változója szerinti gradienseiből, mint sorvektorokból álló (s m), ill. (s (n m)) mátrixot jelöljük F u(u, v)-vel ill. F v(u, v)-vel. Megjegyzés: A deriváltaknál csak akkor jelezzük alsó indexkent, hogy melyik változó szerinti parciális deriváltról van szó, ha az csak egy részvektora a függvény változó-vektorának. A vektorfüggvényekkel a feladat a következő alakot ölti: f = inf f(u) (6.3) u U U = {u R n : G(u) = 0, (6.4) ahol G : R n R s, G = (g 1,..., g s ) C 1 (R n ) vektorfüggvény. A következő két, a klasszikus analízisből ugyancsak jól ismert tételre szükségünk lesz a bizonyításhoz, ezeket emlékeztetőül bizonyítás nélkül közöljük. 6.1. Tétel. (Implicit-függvény tétel) Legyen U R n, V R m, F : U V R n, (u 0, v 0 ) U V és teljesüljenek az alábbi feltételek: 1.) F folytonos az (u 0, v 0 ) pontban; 2.) F (u 0, v 0 ) = 0; 3.) létezik az (u 0, v 0 ) U V pontnak olyan O ε ((u 0, v 0 )) U V környezete, hogy (u, v) O ε ((u, v)) pontban F folytonosan differenciálható u szerint és F u(u 0, v 0 ) nem szinguláris. 21

Akkor az F (u, v) = 0 egyenlet az (u 0, v 0 ) pont valamely környezetében megoldható, azaz léteznek olyan δ 1, δ 2 > 0 számok, és egy, az O δ1 (v 0 ) környezetben értelmezett és a v 0 pontban folytonos ϕ = (ϕ 1,..., ϕ n ) : R m R n vektorfüggvény, hogy minden olyan (u, v) esetén, melyre v O δ1 (v 0 ) és u = ϕ(v), teljesül az F (u, v) = 0 egyenlet, és megfordítva, minden olyan (u, v) esetén, melyre F (u, v) = 0, u O δ1 (u 0 ) és v O δ2 (v 0 ), fennáll az u = ϕ(v) összefüggés. Ha F v szerint is folytonosan differenciálható az O ε ((u 0, v 0 )) környezetben, akkor a ϕ vektorfüggvény differenciálható a v 0 pontban és ϕ (v 0 ) = [F u(u 0, v 0 )] 1 F v(u 0, v 0 ). 6.2. Tétel. Legyen F : R n R n vektorfüggvény folytonosan differenciálható az u 0 R n pont O δ (u 0 ) környezetében és tegyük fel, hogy F u(u 0 ) nem szinguláris. Ha F (u 0 ) = b 0, akkor bármely elég kis δ > 0-hoz ε > 0, hogy b O ε (b 0 ) esetén az F (u) = b egyenletnek pontosan egy u = ϕ(b) O δ (u 0 ) megoldása van és ϕ folytonosan differenciálható az O δ (b 0 ) környezetben. A (6.3)-(6.4) feladatra a következő optimalitási kritériumot adhatjuk meg: 6.3. Tétel. (Lagrange multiplikátorok tétele) Tegyük fel, hogy a (6.1)-(6.2) feladatban a G (u ) mátrix rangja s, azaz az u pontban a g i függvények gradiensvektorai lineárisan függetlenek. Ahhoz, hogy u U = {u U : f(u) = f } legyen, szükséges, hogy létezzen olyan λ = (λ 1,..., λ s) R s vektor úgy, hogy az (u, λ ) vektorpár elégítse ki a f (u) + s λ i g i (u) = 0, (6.5) g i (u) = 0 (i = 1,..., s), (6.6) vagy vektoralakban f (u) + G T (u)λ = 0, (6.7) G(u) = 0 (6.8) egyenletrendszert, ahol G T a G mátrix transzponáltját jelöli.. Legyen u U minimumpont. Ha s = n, akkor a 6.2. Tétel szerint az U halmaz egyetlen u ponból áll és G (u ) nem szingularitása miatt ebben a pontban λ = [ G T (u ) ] 1 f (u ) kielégíti a (6.7) feltételt. Legyen s < n. Particionáljuk az u vektorok koordinátáit u = (v, w), v R s, w R n s alakban úgy, hogy az u = (v, w ) pontban a G (u ) = [G v(v, w ) G w(v, w )] mátrixban a G v(v, w ) (s s) almátrix nem szinguláris. Mivel u U, így G(u ) = G(v, w ) = 0. Az implicit-függvény tétel szerint a w pont létezik olyan ϕ(w) differenciálható függvény, melyre v = ϕ(w ); G(ϕ(w ), w ) = 0 22

és ϕ (w) = [G v(ϕ(w), w)] 1 G w(ϕ(w), w). (6.9) Legyen w O δ (w ). Mivel itt G(ϕ(w), w) = 0, ezért u = (ϕ(w), w) U. Így f(ϕ(w ), w ) = f(v, w ) = f(u ) f(u) = f(ϕ(w), w). Következésképpen az f(ϕ(w), w) = h(w) függvénynek a w = w pontban lokális minimuma van. Az optimalitás szükséges feltétele szerint h (w ) = 0. Az összetett függvény differenciálási szabálya szerint h (w ) = ϕ T (w )f v(ϕ(w ), w ) + f w(ϕ(w ), w ). Figyelembe véve (6.9)-t és a ϕ(w ) = v összefüggést azt kapjuk, hogy Jelölje h (w ) = G w(v, w ) T [ G v(v, w ) T ] 1 f v (v, w ) + f w(v, w ) = 0. (6.10) λ = [ G v(v, w ) T ] 1 f v (v, w ). (6.11) A (6.10) és (6.11) összefüggések a [ G v(v, w ) T ] λ + f v(v, w ) = 0 [ G w(v, w ) T ] λ + f w(v, w ) = 0 rendszert adják, ami ekvivalens a G (u ) T λ + f (u ) = 0 egyenlettel, ami azt jelenti, hogy az (u, λ ) vektorpár kielégíti a tétel állítását. Vegyük észre, hogy a tételben szereplő (6.5) egyenlőség a s L(u, λ) = f(u) + g i (u) Lagrange függvény segítségével alakot ölti. L u(u, λ ) = 0 23

6.1. Feladatok 6.1.1. Feladat. Oldja meg Lagrange multiplikátorok módszerével a következő feladatokat: 1.) 2x 2 + 4xy + y 2 min x 2 + y 2 = 1. 2.) 1 x 2 + y 2 + z 2 min x 2 + 2y 2 + 3z 2 = 0 x + y + z = 0. 3.) 1 2 (x 2 + y 2 + z 2 ) min z xy = 5. 6.1.2. Feladat. Keressük meg a minimumát és a maximumát az f(x, y, z) = 2x 2 + 5y 2 + 11z 2 + 20xy 4xz + 16yz függvénynek az egységgömb felületén? 6.1.3. Feladat. Határozza meg az origónak az z xy = 5 felülettől való távolságát. 6.1.4. Feladat. Határozza meg az (1, 2, 1) pontnak az 2x y + z = 4 síktól való távolságát. 6.1.5. Feladat. Legyenek α, β, γ egy háromszög szögei. A Lagrange multiplikátorok módszere segítségével igazolja a következő egyenlőtlenségeket: 1.) sin α + sin β + sin γ 3 3 2 ; 2.) cos α + cos β + cos γ 3 2 ; 3.) sin α 2 sin β 2 sin γ 2 1 8. 6.1.6. Feladat. Írjon az egységkörbe olyan háromszöget, melynek oldalainak négyzetösszege maximális. Oldja meg a feladatot a Lagrange multiplikátorok módszerével. 6.1.7. Feladat. A 5.1.1. Feladat melyik részfeladata oldható meg Lagrange multiplikátorok módszerébel? Oldja meg a feladatokat! 24

7. Optimalitási kritériumok 7.1. Szükséges feltételek differenciális alakban Tekintsük az f(u) min u U feladatot, ahol U = {u R n : g i (u) 0 (i I), g j (u) = a j, u b j 0 (j J 1 ), g j (u) = a j, u b j = 0 (j J 2 )}, (7.1) (7.2) ahol f, g i (i I) C 1 (R n ), a j R n, b j R (j J 1 J 2 ), I, J 1 és J 2 véges indexhalmazok. Megengedett, hogy az I, J 1, J 2 indexhalmazok bármelyike üres legyen, azaz valamelyik típusú korlátozó feltétel hiánya. Ha mindhárom indexhalmaz üres akkor feltétel nélküli, azaz R n -en történő mimimalizálásról van szó. Az U halmaz előállítható U = U 1 U 2 U 3 alakban, ahol U 1 = {u R n : g i (u) 0, i I}, U 2 = {u R n : g i (u) = a j, u b j 0, j J 1 }, U 3 = {u R n : g i (u) = a j, u b j = 0, j J 2 }. 7.1.1. Definíció. 0 s R n megengedett iránya az U halmaznak az u U pontból, ha ε 0 > 0 konstans, hogy u + εs U ε [0, ε 0 ]. Legyen int U azaz u U, hogy annak valamely nyílt O δ (u) környezetére O δ (u) U. Nyilvánvaló, ekkor s R n megengedett irány az u int U pontból. Legyen ri U, azaz ha H a legszűkebb U-t tartalmazó affin halmaz, akkor u U, hogy annak valamely nyílt O δ (u) környezetére O δ (u) H U. Nyilvánvalóan ekkor H U 3 és s H megengedett irány az u ri U pontból. 7.1.2. Definíció. A g i (u) 0 (i I J 1 ) feltétel aktív az u U pontban, ha g i (u) = 0 (i I J 1 ). (Az egyenlőségtípusú feltételek konstrukciójukból adódóan mindig aktívak). Az u-beli aktív feltételek indexhalmazát jelölje I(u) J 1 (u) J 2, ahol I(u) = {i I : g i (u) = 0} J 1 (u) = {j J 1 : a j, u b j = 0}. 7.1.1. Tétel. Ha 0 s R n megengedett iránya az U halmaznak az u U pontból, akkor σ 0 konstans, hogy (s, σ) R n+1 kielégíti a g i(u), s + σ 0 (i I(u)) (7.3) a j, s 0 (j J 1 (u)) (7.4) a j, s = 0 (j J 2 ) (7.5) redszert. Ha a (7.3)-(7.5) rendszernek (s, σ), s 0, σ > 0 megoldása, akkor s megengedett irány az u pontból. 25

Szükségesség. Legyen s R n egy megengedett irány az u U pontból. A (7.5) feltétel teljesülése szükséges, mert ha s R n egy megengedett irány az u U pontból, akkor j J 2 esetén ε [0, ε 0 ]-re a j, u + εs = b j a j, u b j +ε a j, s = 0, } {{ } =0 ahonnan következik (7.5). Így ha a (7.3)-(7.5) rendszernek (7.5) teljesülése mellett nem lenne a kívánt tulajdonságú megoldása, akkor 0 s R n és σ 0 esetén vagy g i(u), s + σ > 0, valamely i I(u)-ra, vagy a j, s > 0 valamely j J 1 (u)-ra. Az előbbi esetben σ = 0-val g i(u), s > 0. Minthogy o(ε) ε 0, ha ε 0, így g i (u + εs) = g(u) +ε g }{{} i(u), s +o(ε) > 0. } {{ } =0 >0 A második esetben a j, u + εs = a j, u +ε a j, s > 0. } {{ } } {{ } =0 >0 Vagyis azt kapjuk, hogy s egyik esetben sem lenne megengedett irány, ami ellentmondás. Elégségesség. Legyen u U és tegyük fel, hogy a (7.3)-(7.5) rendszernek (s, σ), s 0, σ > 0 megoldása. Ha i I(u), akkor g i (u + εs) = g(u) +ε g }{{} i(u), s } {{ } =0 < σ<0 ha ε elég kicsi. Ha j J 1 (u), akkor +o(ε) < ε( σ + o(ε) ε a j, u + εs b j = a j, u b j +ε a j, s 0. } {{ } } {{ } =0 0 Ha j J 2, akkor a j, u + εs b j = a j, u b j +ε a j, s = 0. } {{ } } {{ } =0 =0 }{{} >0 ) < 0, Ha i I(u), akkor g i (u) < 0, ha j J(u), akkor a j, u b j < 0 és g i ill. a j, u folytonossága miatt elég kis ε > 0 esetén g i (u + εs) > 0 ill. a j, u + εs b j < 0 is teljesül. Vagyis s megengedett irány. 26

7.1.3. Definíció. A 0 s R n vektor az f : R n R függvény csökkenési iránya az u R n pontból, ha ε 0 > 0, hogy f(u + εs) < f(u) ε (0, ε 0 ]. 7.1.2. Tétel. Ha 0 s R n csökkenési iránya az f : R n R függvénynek akkor σ 0, hogy (s, σ) kielégíti a f (u), s + σ 0 (7.6) egyenlőtlenséget. Ha a (7.6) egyenlőtlenségnek (s, σ) olyan megoldása, hogy s 0 és σ > 0, akkor s csökkenési iránya f-nek. Szükségesség. Ha 0 s R n csökkenési iránya az f : R n R függvénynek, akkor miatt f(u + εs) = f(u) + ε f (u), s + o(ε) < f(u) f (u), s + o(ε) ε Minthogy o(ε) ε f (u), s 0, < 0. 0, ha ε 0, így amiből következik a tételbeli σ 0 létezése. Elégségesség. Ha a (7.5) egyenlőtlenség (s, σ) megoldására σ > 0, akkor f(u + εs) = f(u) + ε f (u), s + o(ε) = f(u) + ε( f (u), s + o(ε) ε ) ha ε elég kicsi. f(u) + ε( σ + o(ε) ε ) < f(u), 7.1.3. Tétel. Annak, hogy az u U pont lokális minimumpontja legyen a (7.1)-(7.2) feladatnak, szükséges feltétele, hogy a (7.3)-(7.6) egyenlőtlenségrendszer minden (s, σ) megoldására σ 0 legyen. Ha a σ 0 feltétel teljesülne a (7.3)-(7.6) egyenlőtlenségrendszer valamely (s, σ) megoldására, akkor a 7.1.1. és 7.1.2. Tételek szerint s megengedett iránya lenne U-nak az u U pontból, ugyanakkor ebből a pontból csökkenési iránya lenne az f függvénynek, vagyis létezne olyan ε 0 > 0, hogy u + εs U és f(u + εs) < f(u) ε ε 0, vagyis u nem lenne lokális minimumpont. 27

7.1.4. Tétel. (Fritz-John feltétel) Legyen az u U pont lokális minimumpontja a (7.1)-(7.2) feladatnak Akkor léteznek olyan λ 0 0, λ i 0, i I, µ j 0, j J 1 és ϑ R, j J 2 nem mind zérus konstansok, hogy λ 0 f (u) + i I λ i g i(u) + j J 1 µ j a j + j J 2 ϑ j a j = 0, (7.7).. λ i g i (u) = 0, i I, µ j ( a j, u b j ) = 0, j J 1 (7.8) A 7.1.3. Tételből a Farkas lemmával kapjuk, hogy léteznek olyan λ 0 0, λ i 0, i I(u), µ j 0, j J 1 (u) és ϑ j R, j J 2 skalárok, hogy λ 0 f (u) + λ i g i(u) + µ j a j + ϑ j a j = 0, (7.9) j J 2 i I(u) j J 1(u) és λ 0 + i I(u) λ i = 1. Az utóbbi feltétel garantálja, hogy már a fenti egyenletben szereplő paraméterek nem mindegyike zérus. A λ i = 0 (i I \ I(u) és µ j = 0 (j J 1 \ J 1 (u) választással a tétel bizonyítása teljessé tehető. 7.1.5. Tétel. (Kuhn-Tucker-féle szükséges feltétel) Legyen az u U pont lokális minimumpontja a (7.1)-(7.2) feladatnak és tegyük fel, hogy a g i (u), i I(u), a j, j J 1 (u) J 2 vektorrendszer lineárisan független. Akkor léteznek olyan λ i 0, i I, µ j 0, j J 1 és ϑ R, j J 2 skalárok, hogy f (u) + i I λ i g i(u) + j J 1 µ j a j + j J 2 ϑ j a j = 0, (7.10) és λ i g i (u) + µ j ( a j, u b j ) = 0. (7.11) j J 1 i I A tétel feltételei mellett teljesülnek a 7.1.4. Tétel feltételei. De most λ 0 > 0 lehetséges csak, mert λ 0 = 0 esetén ellentmondásra jutnánk a tételbeli lineáris függetlenségi feltétellel. Az általánosság megszorítása nélkül feltehetjük, hogy λ 0 = 1. Bevezetve a λ i = 0, ha i / I(u) és µ j = 0, ha j / J 1 (u) paramétereket, a (7.10) és (7.9) egyenlőségek ekvivalensek. Ugyanakkor fennállnak a λ i g i (u) = 0 (i I) és µ j ( a j, u b j ) = 0 (j J 1 ) feltételek, amiből (7.11) azonnal adódik. 28

7.2. Feladatok 7.2.1. Feladat. Mi a megengedett iránya 1.) U = {u = (x, y) R 2 : x 3 + y 0, x, y 0} halmaznak az u = (0, 0) pontban? 2.) U = {u = (x, y) R 2 : 2x + y 4, x + y 1} halmaznak az (1, 3) pontban? 3.) U = {u = (x, y) R 2 : x y + 3 0, x 2 + y 1 0, x, y 0} halmaznak a (2, 5) ill. a (1, 2) pontokban? 7.2.2. Feladat. A megengedett irányok módszerével ellenőrizze hogy, az alábbi feladatokra a megadott pont optimális-e? 1.) 2.) 3.) x 2 + y min x 2 + y 2 9 x + y 1. u = (x, y ) = (0, 3). y max x 2 + 3y 3 2x + 3y 4 x, y 0 u = (x, y ) = (0, 1). x + y min x 2 y 0 2y + x 4 u = (x, y ) = (0, 0). 7.2.3. Feladat. Teljesül-e a 7.2.2. Feladat problémáira az adott pontokban 1.) a Fritz-John optimalitási kritérium? 2.) a Kuhn-Tucker-féle szükséges optimalitási kritérium? 7.2.4. Feladat. őket: Írja fel a Kuhn-Tucker optimalitási feltételeket az alábbi feladatokra, és oldja meg 1.) 3u 1 u 2 + u 2 3 min (u 1,u 2) U, U = {(u 1, u 2 ) R 2 : u 1 + u 2 + u 3 0, u 1 + 2u 2 + u 2 3 0}. 29

2.) u 2 1 + 4u 1 u 2 + u 2 2 min (u 1,u 2) U, U = {(u 1, u 2 ) R 2 : (u 1 1) 2 + u 2 2 1}. 3.) (u 1 3) 2 + (u 2 2) 2 min (u 1,u 2) U U = {(u 1, u 2 ) R 2 : u 2 1 + u 2 2 5, u 1 + 2u 2 2 4, u 1, u 2 0}. 30

7.3. Konvex MP feladatok optimalitási kritériumai Tegyük fel, hogy a (7.1)-(7.2) feladatban az f és g i, i I függvények konvexek. Ekkor a 4.3.3. Tétel értelmében az U halmaz is konvex. Ezt a feladatot konvex programozási feladatnak nevezzük. 7.3.1. Definíció. Az (7.2)-val definiált U halmaz reguláris, ha minden (i I) esetén létezik olyan u i U, melyre g i (u i ) < 0. 7.3.2. Definíció. Az (7.2)-val definiált U halmaz kielégíti a Slater feltételt, ha létezik olyan u U, melyre g i (u) < 0, i I. Az u pontot Slater pontnak nevezzük. 7.3.1. Tétel. A Slater feltétel teljesüléséből következik a regularitási feltétel teljesülése. Konvex programozási feladat esetén a két feltétel ekvivalens. Ha létezik u Slater pont, akkor az u i = u (i I) választással teljesül a regularitási feltétel. Ha az U halmaz konvex és reguláris, akkor az u = k I α k u k Slater pont. Valóban, mivel g i (u i ) < 0 és a g i függvények konvexek, így g i (u) = g i ( k I α k u k ) α k g i (u k ) = α i g i (u i ) + α k g(u k ) < 0 } {{ } } {{ } k I k i <0 0 7.3.2. Tétel. (Kuhn-Tucker optimalitási tétel) Legyen a (7.1)-(7.2) konvex programozási feladat, és az U halmaz legyen Slater reguláris. u U akkor és csak akkor optimumpontja a (7.1)- (7.2) feladatnak, ha léteznek olyan λ i 0 (i I), µ j 0 j J 1 és ϑ j R j J 2 konstansok, hogy f (u) + i I λ i g i(u) + j J 1 µ j a j + j J 2 ϑ j a j = 0. (7.1) és teljesülnek a λ i g i (u) = 0, i I, µ j ( a j, u b j ) = 0, j J 1 (7.2). komplementaritási feltételek. Szükségesség. Hasonlóan mint a 7.1.5. Tétel bizonyításánál léteznek olyan λ 0 0, λ i 0, i I(u), µ j 0, j J 1 (u) és ϑ j R, j J 2 skalárok, hogy λ 0 f (u) + λ i g i(u) + µ j a j + ϑ j a j = 0, (7.3) j J 2 és λ 0 + i I(u) i I(u) j J 1(u) λ i = 1. (7.4) 31

Azt kell belátnunk, hogy λ 0 > 0. Tegyük fel az ellenkezőjét, vagyis legyen λ 0 = 0. A(7.4)-ből következik, hogy van legalább egy olyan k I(u) index, hogy λ k > 0 és g k (u) = 0. Ha z U a Slater pont, akkor s = z u megengedett irány. Valóban, minthogy g i (z) < 0 (i I), a j, z b j 0 (j J 1 ) és a j, z b j = 0 (j J 2 ), így 0 < ε 1 = ε 0 esetén és g i (u + εs) = g i (εz + (1 ε)u) ε g i (z) +(1 ε) g i (u) < 0, (i I), } {{ } } {{ } <0 0 a j, u + εs b j = ε( a j, z b j ) + (1 ε)( a j, u b j ) 0, (j J 1 ) } {{ } } {{ } 0 0 a j, u + εs b j = ε( a j, z b j ) + (1 ε)( a j, u b j ) = 0, (j J 2 ). } {{ } } {{ } =0 =0 (7.3)-t skalárisan s-sel szorozva λ i g i(u), s + µ j a j, s + ϑ j a j, s = 0. j J 2 (7.5) i I(u) j J 1(u) Mivel s megengedett irány, a 7.1.1. Tétel szerint (7.5) baloldalán minden tag nempozitív, és figyelembe véve g k konvexitását (ld. 4.1.2. Tétel) 0 > g k (z) = g k (z) g k (u) g k(u), z u = g k(u), s, vagyis (7.5) baloldala határozottan negatív, így ellentmondáashoz jutottunk. A (7.2) komplementaritási feltételek teljesülése most is a λ i = 0 (i I \ I(u) és µ j = 0 (j J 1 \ J 1 (u) választással biztosítható. Elégségesség. Legyen y U tetszőleges. f konvexitása, valamint (7.1) miatt f(y) f(u) f (u), y u = i I λ i g i(u) + j J 1 µ j a j + j J 2 ϑ j a j, y u (7.6) U konvexitása miatt s = y u megengedett iránya U-nak az u pontból (bizonyítása analóg az előbbiekkel), így a 7.1.1. Tétel szerint g i (u), s 0 (i I), a j, s 0 (j J 1 ) és a j, s = 0 (j J 2 ). Ezért (7.6)-ből f(y) f(u) 0, vagyis u valóban minimumpont. 32

7.4. Feladatok 7.4.1. Feladat. Mutassa meg, hogy az alábbi feladat konvex programozási feladat, teljesíti a Slater feltételt és a ( 2/2, 2/2) pontban teljesülnek a a Kuhn-Tucker optimalitási feltételek. Határozza meg a megfelelő Lagrange szorzókat. y min x 2 + y 2 1 x + y 2 0 x + y 0 7.4.2. Feladat. Ellenőrizze az alábbi feladatokra a Slater feltételt és a Kuhn-Tucker feltételek teljesülését az adott pontban 1.) 2.) 3.) y max x 2 + 3y 3 2x + 3y 4 x, y 0 u = (x, y ) = (0, 1). xy max x 2 + y 2 100 x + y 14 x, y 0 u = (x, y ) = (7, 7). x + y min x 2 + y 2 + 2x 1 x 1 y 1 u = (x, y ) = (0, 1). 4.) y max x 2 + 3y 3 2x + 3y 4 x, y 0 u = (x, y ) = (0, 1). 33

7.5. Megengedett irányok módszere A 7.1.3 tétel alkalmas arra, hogy segítségével megoldási módszert konstruáljunk. Ehhez ugyanis csak a (7.3)-(7.6) rendszer (s, σ) megoldásait kell megkeresnünk és σ előjelét vizsgálnunk. Vegyük azonban észre, hogy ha (s, σ) egy megoldása (7.3)-(7.6)-nak, akkor (αs, ασ) is az α 0 esetén. Ezért elegendő az a normában felülről korlátozott megengedett/csökkenési irányokat vizsgálni. Minthogy a (7.3)-(7.6) rendszer (s, σ)-ban lineáris, célszerű az R n -beli maximum-normát alkalmazni, hogy a rendszer linearitását ne rontsuk el, azaz legyen s = max s i, ahol s =,...,n (s 1,..., s n ) R n. Ezzel az (7.3)-(7.6) rendszer az max s i 1,...,n feltétellel bővül, ami ekvivalens a 1 s i 1, i = 1,..., n (7.1) feltételrendszerrel. Algoritmus: 1.lépés: (Inicializálás) Legyen k := 1, és választunk egy u 1 U pontot. 2.lépés: Meghatározzuk az aktív feltételek I(u k ) J 1 (u k ) J 2 indexhalamazát. 3.lépés: Megoldjuk a σ max f (u k ), s + σ 0, g i, s + σ 0, (i I(u k )), a j, s 0, (j J 1 (u k )), a j, s = 0, (j J 2 ), 1 s i 1, (i = 1,..., n) lineáris programozási feladatot. Ha σ = 0, akkor KÉSZ. u = u k kielégíti a Fritz-John szükséges feltételt. Ha σ = 0 és még a g i (u k), i I(u k ), a j, j J 1 (u k ) J 2 vektorrendszer lineárisan független, akkor u = u k kielégíti a Kuhn Tucker szükséges feltételt. Ha a megoldandó feladat konvex és teljesíti a Slater feltételt, akkor u = u k optimális. Ha σ 0, akkor s megengedett csökkenési irány, GOTO 4. lépés. 4.lépés: u k+1 := u k + εs az ε > 0 olyan választásával, hogy f(u k+1 ) f(u k ) legyen (pl. ε argmin f(u k + εs)). GOTO 2. lépés. ε>0 34

7.6. Feladatok 7.6.1. Feladat. Határozza meg az alábbi halmazoknak az adott u 0 pontokhoz legközelebbi nemnegatív koordinátájú pontját megengedett irányok módszerével az optimumponttól különböző kezdőpontból kiindulva: 1.) U = {u = (x, y) R 2 : 2x + y 4, x + y 1} u 0 = (2, 0). 2.) U = {u = (x, y) R 2 : x 2y 6, 2x + y 6} u 0 = (1, 3). 3.) U = {u = (x, y) R 2 : x 2y 4, x + y 5} u 0 = (1, 0). 7.6.2. Feladat. Az alábbi feladatokra a megengedett irányok módszerével az adott u 0 = (x 0, y 0 ) pontból kiindulva hajtson végre egy teljes iterációs lépést, majd írja fel a második megengedett irányt meghatározó feladatot! 1.) 2.) 3.) 4.) x 2 + y 2 4x + 4 min x y + 3 0 x 2 + y 1 0 u 0 = (2, 5). x, y 0 x 2 + xy + 2y 2 6x 2y 12z min u 0 = (1, 0, 1). x + y + z = 2 x + 2y 3 x, y, z 0 x 2 + xy + 2y 2 6x 2y 12z min u 0 = (1, 1, 1). 2x 2 + y 2 15 x + 2y + z 3 x, y, z 0 (x 2) 2 + (y 1) 2 min u 0 = (1, 1). x 2 y 0 x + 2y = 1 35

7.7. Nyeregpontfeltételek Legyenek a továbbiakban I = {1,..., m}, J 1 = {m + 1,..., p} és J 2 = {p + 1,..., s} a korlátozó feltételek indexhalmazai, G 1 = (g 1,..., g m ), G 2 = (g m+1,..., g p ) és G 1 = (g p+1,..., g s ) a korlátozó feltételek vektorfüggvényei, azaz legyen U = {u R n : G 1 (u) 0, G 2 (u) = A 1 u b 1 0, G 3 (u) = A 2 u b 2 = 0}, (7.1) ahol A 1 és A 2 (p m) n ill. (s p) n típusú mátrixok, b 1 R p m, b 2 R s p. (0 mindenütt a megfelelő méretű nullvektort jelöli.) Legyen Λ = {(λ, µ, ϑ) R m R p m R s p : λ 0, µ 0}. 7.7.1. Definíció. Az f(u) min u U (7.2) feladathoz rendelt L : R n Λ R Lagrange függvény: L(u, λ, µ, θ) = f(u) + λ, G 1 (u) + µ, G 2 (u) + ϑ, G 3 (u). (7.3) 7.7.2. Definíció. Az (u, λ, µ, ϑ ) R n Λ az L(u, λ, µ, ϑ) Lagrange függvény nyeregpontja az R n Λ halmazon, ha minden u R n és (λ, µ, ϑ) Λ esetén L(u, λ, µ, ϑ) L(u, λ, µ, ϑ ) L(u, λ, µ, ϑ ). (7.4) 7.7.1. Tétel. Ahhoz, hogy az(u, λ, µ, ϑ ) R n Λ nyeregponja legyen a (7.2)-(7.1) nemlineáris programozási feladatnak, szükséges, hogy teljesüljenek az alábbi feltételek: L u(u, λ, µ, ϑ ) = 0, (7.5) L λ(u, λ, µ, ϑ ) = G 1 (u ) 0, (7.6) L µ(u, λ, µ, ϑ ) = G 2 (u ) = A 1 u b 1 0, (7.7) L ϑ(u, λ, µ, ϑ ) = G 3 (u ) = A 2 u b 2 = 0, (7.8) λ, G 1 (u ) = 0, (7.9) µ, G 2 (u ) = µ, A 1 u b 1 = 0. (7.10) Ha a (7.2)-(7.1) feladat konvex programozási feladat, akkor a (7.5)-7.10) feltételek elégségesek is. Szükségesség. A (7.4) nyeregpontfeltétel jobboldali egyenlőtlenségéből az u = (u 1,..., u k 1, u k, u k+1,..., u n ) választással a L(u 1,..., u k 1, u k, u k+1,..., u n, λ, µ, ϑ ) L(u 1,..., u k 1, u k, u k+1,..., u n, λ, µ, ϑ ) u k R azaz L(u 1,..., u k 1, u k, u k+1,..., u n, λ, µ, ϑ ), mint u k függvénye az u k pontban veszi fel a minimumát. (7.5) az optimalitás szükséges feltétele. 36

A (7.4) feltétel baloldalából λ λ, G 1 (u ) + µ µ, G 2 (u ) + ϑ ϑ, G 3 (u ) 0 (λ, µ, ϑ) Λ. (7.11) Legyen λ = λ + e k, ahol e k az R m tér k. egységvektora és legyen továbbá µ = µ és ϑ = ϑ. Akkor (7.11)-ból a g k (u ) 0 egyenlőtlenséget kapjuk, és ez igaz minden k = 1,..., m-re, azaz (7.6) teljesül. Hasonló technikával, ha µ = µ + e k, ahol e k az R p m tér k. egységvektora, továbbá λ = λ és ϑ = ϑ, akkor k = m + 1,..., p esetén a k, u b k 0, azaz fennáll (7.7). Végül, ha ϑ = ϑ ± e k, ahol e k az R s p tér k. egységvektora, továbbá λ = λ és µ = µ, akkor k = p + 1,..., s-re a k, u b k 0, ( a k, u b k ) 0. Ezzel (7.8)-t is igazoltuk. Figyelembe véve λ és µ nemnegativitását, valamint a már belátott (7.6), (7.7) és (7.8) állításokat, a λ, G 1 (u ) 0, µ, G 2 (u ) = µ, A 1 u b 1 0. egyenlőtlenségeket kapjuk. Másrészt a (7.11) feltételből λ = 0, µ = 0, ϑ = 0 választással λ, G 1 (u ) + µ, G 2 (u ) + ϑ, G 3 (u ) 0 adódik, ami az összeadandók bármelyikének negatívitása mellett nem lehetséges, vagyis teljesülnie kell a (7.9) és (7.10) feltételeknek. Elégségesség. Tegyük fel, hogy a (7.2)-(7.1) feladat konvex és (u, λ, µ, ϑ ) R n Λ teljesíti az (7.5)-(7.10) feltételeket. Mivel az f(u), g i (u)(i = 1,..., s) függvények konvexek, az L(u, λ, µ, ϑ ) Lagrange függvény is konvex u-ban, és a konvexitás elsőrendű feltételét, valamint a (7.5) feltételt felhasználva L(u, λ, µ, ϑ ) L(u, λ, µ, ϑ ) + L u(u, λ, µ, ϑ ), u u L(u, λ, µ, ϑ ), } {{ } 0 azaz (7.4) feltétel jobboldala teljesül. Az L(u, λ, µ, ϑ) Lagrange függvény lineáris (λ, µ, ϑ)-ban, így felhasználva a (7.6)-(7.10) feltételeket: L(u, λ, µ, ϑ) = L(u, λ, µ, ϑ ) + L λ(u, λ, µ, ϑ ), λ λ + = L(u, λ, µ, ϑ ) + L µ(u, λ, µ, ϑ ), µ µ + L ϑ(u, λ, µ, ϑ ), ϑ ϑ G 1 (u ), λ λ + G 2 (u ), µ µ + G 3 (u ), ϑ ϑ = L(u, λ, µ, ϑ ) + G 1 (u ), } {{ } }{{} λ + G 2 (u ), µ + G } {{ } }{{} 3 (u ), ϑ } {{ } 0 0 0 0 =0 ( G 1 (u ), λ + G 2 (u ), µ + G 3 (u ), ϑ ) } {{ } } {{ } } {{ } =0 =0 =0 L(u, λ, µ, ϑ ), 37

azaz a (7.4) feltétel baloldali egyenlőtlensége is igaz. 7.7.2. Tétel. Ha az (u, λ, µ, ϑ ) R n Λ nyeregpontja a (7.2)-(7.1) feladathoz rendelt Lagrange függvénynek az R n Λ halmazon, akkor u U = {u U : f(u ) = inf f(u)}. Ha (7.2)-(7.1) u U konvex programozási feladat, és teljesíti a Slater regularitási feltételt, akkor a feltétel szükséges is. Szükségesség. Legyen (u, λ, µ, ϑ ) R n Λ nyeregpontja a (7.2)-(7.1) feladathoz rendelt Lagrange függvénynek az R n Λ halmazon. Akkor szükséges a (7.6)-(7.8) feltételek teljesülése, vagyis u U, továbbá a nyeregpontfeltétel jobboldala teljesül minden u U-ra, így u U esetén L(u, λ, µ, ϑ ) = f(u ) L(u, λ, µ, ϑ ) = f(u) + G 1 (u ), } {{ } }{{} λ + G 2 (u ), µ + G } {{ } }{{} 3 (u ), ϑ f(u) } {{ } 0 0 0 0 =0 Elégségesség. Mint láttuk korábban, a Slater feltételt teljesítő konvex programozási feladatra a 7.3.2. Tétel feltételei elégségesek is ahhoz, hogy egy u U pont optimális legyen. Ezek a feltételek ekvivalensek a (7.5)-(7.10) feltételekkel. 38

7.8. Feladatok 7.8.1. Feladat. Tekintsük a u min u U U = {u R : u 0, u 2 0}; feladatot. Mutassuk meg, hogy a feladathoz rendelt Lagrange függvénynek nincs nyeregpontja. 7.8.2. Feladat. Tekintsük az u min u U U = {u R : u 0, u 2 0} feladatot. Mutassuk meg, hogy a feladathoz rendelt Lagrange függvénynek (0, 1, λ 2) nyeregpontja λ 2 0 esetén. 7.8.3. Feladat. Tekintsük az u 2 min u U U = {u R : u 2 1 0} feladatot. Mutassuk meg, hogy u = 0, λ = 0 nyeregpont. 7.8.4. Feladat. Nyeregpont-e az y min x 2 + y 2 1 x + y 2 0 x + y 0 feladatra (u, λ ), ha u = ( 2 2, 2 2 ), λ = (1 + 2 2, 2 + 1, 0)? 39

8. A lineáris komplementaritási feladat megoldása Legyen M tetszőleges p p mátrix, és q R p. Keressük olyan w, z R p vektorokat, amelyek kielégítik a w Mz = q (8.1) w j 0, z j 0 (j = 1,..., p) (8.2) w j z j = 0, (j = 1,..., m) (8.3) rendszert. A (w j, z j ) változókat komplementáris változóknak nevezzük. 8.1. Definíció. A (w, z) pár tökéletes megengedett bázis megoldása a (8.1-8.3) feladatnak, ha kielégítik (8.1-8.2)-t és minden j-re a (w j, z j ) párnak pontosan az egyik komponense bázisbeli. Ha q i 0 i = 1,..., p, akkor (8.1-8.3)-nak nyilvánvalóan megoldása a w = q, z = 0 pár. Ha legalább egy j {1,..., p}-re q j < 0), akkor az eredeti feladat megoldása helyett keressük a (w, z, z 0 ) megoldását a w Mz 1z 0 = q (8.4) w j 0, z j 0 (j = 1,..., p) (8.5) w j z j = 0, (j = 1,..., m) (8.6) rendszernek, ahol 1 = {1,..., 1}. Nyilvánvalóan, z 0 = min q i, z = 0, w = q + z 0 1 (8.7),...,p egy megengedett megoldása a (8.4)-(8.6) rendszernek. Megfelelő bázistranszformációkkal megkisérelünk olyan megengedett megoldást keresni, ahol z 0 = 0 teljesül. 8.2. Definíció. A (w, z, z 0 ) hármas majdnem tökéletes megengedett bázis megoldása a (8.4-8.6) feladatnak, ha 1. kielégíti (8.4-8.5)-t; 2. létezik olyan 1 s p, hogy sem z j, sem w j nem bázisbeli; 3. minden j s-re a (w j, z j ) párnak pontosan az egyik komponense bázisbeli. A definícióból következik, hogy majdnem tökéletes megengedett bázis megoldás esetén z 0 bázisbeli kell legyen. Másrészt az is látszik, hogy (8.7) egy majdnem tökéletes megengedett bázis megoldás. A (w, z, z 0 ) majdnem tökéletes megengedett bázis megoldás szomszédos majdnem tökéletes megengedett bázis megoldásához úgy juthatunk, hogy a bázisban eddig nem szereplő (w s, z s ) párból valamelyiket bevonjuk a bázisba, feltéve, hogy ezzel z 0 nem kerül ki a bázisból. A Lemke algoritmus alapgondolata a következő: (8.7) majdenem tökéletes megengedett bázis megoldásból kiindulva bázistranszformációkkal szomszédos majdenem tökéletes megengedett bázis megoldásokon haladva javítjuk a megoldást. 40