Optimálási módszerek Galántai Aurél

Átírás

1 Optimálási módszerek Galántai Aurél

2 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 2 1 Bevezetés Optimalizálási feladat számos helyen elýofordul. Példák: 1. Dido probléma. 2. Legrövidebb út probléma. 3. A lineáris programozás feladata. 4. Motorok optimális vezérlése.

3 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 3 A lineáris programozás alapfeladata: 1. Egy üzem m alapanyagból n féle terméket gyárt. 2. A j-edik termék egy egységének elýoállításához a ij nyersanyag mennyiség kell az i-edik anyagból. A =[a ij ] m,n i,j=1 R m n az üzem technológiai mátrixa. 3. Az i-edik nyersanyagból b i mennyiség (kapacitás) áll rendelkezésre. A b =[b 1,...,b m ] T R m vektort kapacitásvektornak nevezzük. 4. Jelölje x i 0 az i-edik termékbýol gyártott termék mennyiségét. Az x =[x 1,...,x n ] T R n vektort termelési programnak nevezzük.

4 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 4 Egy x termelési program anyagszükséglete: P n j=1 a 1jx j Ax =. P. n j=1 a mjx j Az x termelési programot lehetséges, ha nx x i 0, a ij x j b i (i =1,...,n). j=1 Legyen a j-edik termék ára c j és c =[c 1,...,c n ] T R n. Ekkor az x termelési programhoz tartozó árbevétel: c T x = c 1 x c n x n.

5 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 5 Ha a cél az árbevétel maximálása, akkor az c T x max, (1) nx a ij x j b i (i =1,...,n), (2) j=1 lineáris programozási feladathoz jutunk. x i 0, (i =1,...,n) (3)

6 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 6 2 Jelölések és alapfogalmak DeÞníció. Az S (x, δ) ={x R n kx x k < δ} R n (4) halmazt az x R n pont körüli δ sugarú nyílt gömbi környezetnek nevezzük. AdeÞnícióban szereplýo norma tetszýoleges. Az n-edrendýu egységmátrixot I R n n,vagyi n jelöli.

7 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 7 DeÞníció. Az A R n n mátrix pozitív (negatív) deþnit, ha x T Ax > 0 x T Ax < 0 x R n,x6= 0. (5) Az A mátrix pozitív (negatív) szemideþnit, ha x T Ax 0 x T Ax 0 x R n. (6) Az A mátrix indeþnit, ha nem tartozik a fenti kategóriák egyikébe sem.

8 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 8 Az A =[a ij ] n i,j=1 mátrix k-adik fýominor mátrixa: A k = a a 1k.., (7) a k1... a kk ahol k =1,...,n.

9 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 9 Tétel. Egy szimmetrikus A R n n mátrix akkor és csak akkor pozitív (negatív) deþnit, ha det (A 1 ) > 0,...,det (A n ) > 0 (8) ³ sign (det (A i )) = ( 1) i,i=1,...,n. (9)

10 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 10 Tétel. Egy szimmetrikus A R n n mátrix akkor és csak akkor pozitív (negatív) deþnit, ha minden sajátértéke pozitív (negatív) valós szám. Tétel. Egy szimmetrikus A R n n mátrix akkor és csak akkor pozitív deþnit, ha az A = LU felbontásban, ahol L egység alsó, U felsýo háromszögmátrix, az U mátrix diagonális elemei mind pozitívak.

11 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 11 DeÞníció. Az f : R n R függvény gradiensén az f f (x) =,..., f T R n (10) x 1 x n oszlopvektort értjük. DeÞníció. Az f : R n R függvény Hesse-mátrixa: 2 n f (x) H(x) = = 2 f(x) = 2 x i x xxf (x). (11) j i,j=1 Kétszer folytonosan differenciálható függvények Hessemátrixa szimmetrikus!

12 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 12 DeÞníció. Az F : R n R m (F (x) =[F 1 (x),...,f m (x)] T ) vektor-vektor függvény gradiensén az F (x) =[ F 1 (x),..., F m (x)] (12) elýoírással megadott n m tipusú mátrixot értjük.

13 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 13 Az f : R n R vektor-skalár függvény Taylor-sora: f(x + p) =f(x)+ f(x) T p pt H(x)p (r 1)! Dr 1 f(x)+ 1 r! Dr f (x + θp), (13) ahol x, p R n, 0 < θ < 1 és nx nx nx ½ D s s ¾ f(x) f(x) =... p i1 p i2 p is. x i 1 =1 i 2 =1 i s =1 i1 x i2... x is (14)

14 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 14 A Taylor-sor speciális esetei: 1. Az f : R n R függvény lineáris közelítése: f (x + p) f (x)+ f (x) T p (x, p R n ). (15) A közelítés hibája O(kpk 2 ),haf C 2.Az y = f (x)+ f (x) T p függvény az f függvény x pontbeli érintýosíkját adja meg.

15 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Az f : R n R függvény kvadratikus közelítése (érintýo paraboloidja): f(x + p) f(x)+ f(x) T p pt H(x)p, x, p R n. (16) A kvadratikus közelítés hibája O(kpk 3 ),haf C 3.

16 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 16 Emlékeztetünk arra, hogy egy f (x) mennyiség O (g (x)) nagyságrendýu, ha egy K > 0 konstanssal fennáll, hogy kf (x)k K g (x). Példa. Tekintsük az f (x 1,x 2 )=(1+e x 2 )cos(x 1 ) x 2 e x 2 függvény lineáris és kvadratikus közelítéseit az [x 1,x 2 ] T =[0, 0] helyen!

17 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 17 és Egyszerû számolással kapjuk, hogy (1 + e x 2 )sin(x f (x 1,x 2 )= 1 ) e x 2 (cos (x 1) x 2 1) H (x 1,x 2 )= (1 + e x 2 )cos(x 1 ) e x 2 sin (x 1) e x 2 sin (x 1) e x 2 (cos (x 1) x 2 2).

18 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 18 Minthogy f (0, 0) = 2, f (0, 0) = [0, 0] T és 2 0 H (0, 0) =, 0 1 azért a lineáris közelítés alakja f (p 1,p 2 ) 2, míg a kvadratikus közelítés alakja f (p 1,p 2 ) 2 p 2 1 (1/2) p 2 2. Az f függvény és kvadratikus közelítésének képét mutatják a következõ ábrák:

19 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 19

20 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 20 Vizsgáljuk meg az ábrázolt felületek metszetét a p 1 =0, illetve a p 2 =0síkokkal! Mit tapasztalunk?

21 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 21 3 Függvények szélsýoértékei DeÞníció. Legyen f : R n R tipusú függvény (n 1). Az x D (f) pont az f függvény globális minimumhelye, ha és globális maximumhelye, ha f (x ) f (x) (x D (f)) (17) f (x ) f (x) (x D (f)). (18)

22 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 22 DeÞníció. Legyen f : R n R tipusú függvény (n 1). Az x D (f) pont az f függvény lokális minimumhelye, ha létezik δ > 0 szám, hogy f (x ) f (x) (x D (f) S (x, δ)) (19) és lokális maximumhelye, ha f (x ) f (x) (x D (f) S (x, δ)). (20) A minimum-, vagy maximumhelyre egyaránt az extremális pont elnevezéssel utalunk.

23 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 23 Példa. Az f (x) =(x 2 x 1 ) 4 +8x 1 x 2 x 1 +x 2 +3függvénynek egy lokális és egy globális minimumhelye van a 2 x 1,x 2 2 tartományban:

24 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 24 DeÞníció. Egy x D (f) minimumhelyet szigorúnak nevezzük, ha egy δ > 0 számra fennáll, hogy f (x ) <f(x), x D (f) S (x, δ), x 6= x. (21) Egy x D (f) maximumhelyet szigorúnak nevezzük, ha egy δ > 0 számra fennáll, hogy f (x ) >f(x), x D (f) S (x, δ), x 6= x. (22) Ha egy minimumhely nem szigorú (erýos), akkor gyenge minimumhelynek is hívjuk. Az elýozýo ábra két minimumhelye szigorú.

25 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 25 Példa: Az f (x) =0.1 x x 1 x 2 + x 2 2 (x1 2x 2 ) 2 függvénynek az x 1 =2x 2 egyenes bármely pontja gyenge minimumhelye, amint azt a következýo ábra is mutatja:

26 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 26 Ismertek a következýo eredmények: Tétel. Legyen f : R R tipusú függvény. Ha f C 1 és x extremális pont, akkor f 0 (x )=0. Tétel. Legyen f : R R tipusú függvény. Ha f C 2 és x minimumhely (maximumhely), akkor f 0 (x )=0, f 00 (x ) 0 (f 00 (x ) 0). Tétel. Legyen f : R R tipusú függvény. Ha f C 2, f 0 (x )=0és teljesül, hogy f 00 (x ) > 0 (f 00 (x ) < 0), akkorx az f függvény minimumhelye (maximumhelye).

27 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 27 Tétel. Legyen f : R n R tipusú vektor-skalár függvény. Ha f C 1 és x extremális pont, akkor f (x )=0. (23) A f (x )=0feltételt stacionárius egyenletnek (egyenletrendszernek) nevezzük. Tétel. Legyen f : R n R tipusú vektor-skalár függvény. Ha f C 2 és x minimumhely (maximumhely), akkor és a 2 H (x f (x n ) )= x i x j Hesse-mátrix pozitív (negatív) szemideþnit. f (x )=0 (24) i,j=1 (25)

28 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 28 Tétel. Legyen f : R n R tipusú vektor-skalár függvény. Ha f C 2, f (x )=0és a H (x ) Hesse-mátrix pozitív (negatív) deþnit, akkor az x pont minimumhely (maximumhely). Bizonyítás (vázlat). Tekintsük az f : R n R függvény f(x + p) f(x )+ f(x ) T p pt H(x )p (x,p R n ) (26) kvadratikus közelítést. Ha f (x )=0, akkor f(x + p) f(x )+ 1 2 pt H(x )p. (27)

29 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 29 Ha H (x ) pozitív deþnit, akkor az f (x + p) f (x )+ 1 2 pt H (x ) p>f(x {z } ) (p 6= 0) (28) >0 miatt az x pont minimumhely. Ha H (x ) negatív deþnit, akkor az f (x + p) f (x )+ 1 2 pt H (x ) p<f(x {z } ) <0 miatt az x pont maximumhely.

30 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 30 A f (x) = 0 (f : R n R) egyenlet megoldásait stacionárius pontoknak, ill. az f függvény kritikus pontjainak is szokás hívni. Az x kritikus pont degenerált, ha det (H (x)) = 0. Megmutatható, hogy csak olyan nemdegenerált kritikus (stacionárius) pontok léteznek, amelyekben a H (x) Hessemátrixnak l pozitív és n l negatív sajátértéke van (0 l n).

31 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 31 Ha l =0, akkor H (x) negatív deþnit (maximumhely). Ha l = n, akkor H (x) pozitív deþnit (minimumhely). A 0 < l < n esetben Morse-féle l-nyeregrýol, vagy nyeregpontról beszélünk. Nyeregpontban nincs szélsýoérték. Degenerált kritikus pontokban elvileg lehet szélsýoérték (pl. f (x, y) = x 4 + y 4 ), ennek vizsgálata általában nem egyszerýu. Függvények degenerált kritikus pontjait az un. katasztrófaelméletben vizsgálják.

32 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 32 Példa. Határozzuk meg az f (x 1,x 2 )=2x x 4 2 x 2 1 2x 2 2 függvény szélsõértékeit és kritikus pontjait (nyeregpontjait)! Az 8x 3 f (x 1,x 2 )= 1 2x 1 4x 3 =0 2 4x 2 stacionárius egyenletbõl könnyen kapjuk, hogy az x 1 =0, ± 1 2 és x 2 =0, ±1 értékekkel képezett 9 darab (x 1,x 2 ) pontpár adja a függvény kritikus pontjait.

33 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 33 Minthogy H (x 1,x 2 )= 24x x behelyettesítéssel könnyen megkaphatjuk, hogy mely pontokban van szélsõérték hely, vagy inßexiós (nyereg) pont. Az alábbi ábráról látható, hogy a (0, 0) pontban lokális maximum van.

34 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 34 Feladat. Adjuk meg a fenti példa összes szélsõérték helyét és nyeregpontját! Igazoljuk, hogy a minimum helyek egyúttal globális minimum helyek is!

35 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 35 Példa. f(x, y) =x 2 y 2 extr Ekkor fx 0 =2x, fy 0 = 2y, (x,y )=(0, 0). Az f (x, 0) = x 2 függvénynek az x =0pontban lokális minimuma, az f (0,y)= y 2 függvénynek pedig lokális maximuma van. A 2 0 H = 0 2 Hesse mátrix nem pozitív deþnit, mert D 1 =2,D 2 = 4 (determináns tétel), illetve mert λ 1 =2és λ 2 = 2 (sajátérték tétel). A H mátrix indeþnit,a(0, 0) pont un. nyeregpont (l =1).

36 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 36 A vizsgált függvény ábrája: A z = x 2 y 2 nyeregfelület

37 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Kvadratikus függvények és szélsýoértékeik Az f : R n R függvényt kvadratikusnak nevezzük, ha alakja f (x) = 1 2 xt Ax + b T x + c = 1 nx nx nx a ij x i x j + b i x i + c, 2 i=1 j=1 i=1 ahol A R n n szimmetrikus mátrix, b R n és c R. Könnyen megmutatható, hogy minden nx nx nx f (x) = α ij x i x j + β i x i + γ i=1 j=1 i=1 alakú függvény ( kvadratikus alak ) is a fenti alakra hozható. (29)

38 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 38 Az f : R n R függvény R f(x + p) f(x)+ f(x) T p pt H(x)p (x, p R n ) kvadratikus közelítése maga is kvadratikus függény, amelynek a tulajdonságai lényegében meghatározzák a szélsýoérték létezését és jellegét. Igazak a következõ tulajdonságok: f (x) = Ax + b, H (x) = A. (30) Ha létezik A 1, akkor a f (x) =Ax + b =0 stacionárius egyenlet megoldása x = A 1 b.

39 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 39 Ha A pozitív deþnit, akkor x min = A 1 b minimumhely és f (x min )= 1 2 bt A 1 b + c. Ha A negatív deþnit, akkor x max = A 1 b maximumhely és f (x max )= 1 2 bt A 1 b + c. Ha A indeþnit, akkor megmutatható, hogy x = A 1 b nyeregpont.

40 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 40 Megjegyzés. És az elfajult, szemideþnit esetek? Példa. Az f (x) =x 2 1 x 1 x 2 + x 2 2 függvénynek egy szigorú (erýos) minimumhelye van ( 2 f (x) pozitív deþnit):

41 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 41 Az f (x) = 1 2 x2 1 2x 1 x 2 +2x 2 2 függvénynek gyenge minimumhelye van ( 2 f (x) pozitív szemideþnit):

42 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 42 Az f (x) =x 2 1 2x 1 x x függvénynek nyeregpontja van ( 2 f (x) indeþnit):

43 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 43 4 Feltételes szélsýoértékfeladatok A vizsgált optimalizálási feladatok legáltalánosabb alakja: f (x) min (max) h i (x) =0 (i =1,...,m), g j (x) 0 (j =1,...,r), ahol x R n, f : R n R és (31) h i,g j : R n R (i =1,...,m, j =1,...,r). (32)

44 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 44 egyenlýoségi feltételek: egyenlýotlenségi feltételek: h i (x) =0 (i =1,...,m) (33) g j (x) 0 (j =1,...,r) (34) Ha nincs semmilyen korlátozó feltétel, akkor feltétel nélküli optimalizálásról beszélünk.

45 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 45 Legyen és h(x) = g(x) = h 1 (x). (h : R n R m ) (35) h m (x) g 1 (x). (g : R n R r ) (36) g r (x)

46 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 46 DeÞníció. Legyen x, y R n.azx y egyenlýotlenség akkor és csak akkor teljesül, ha x i y i (i =1,...,n). Példa: ,

47 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 47 A feladat tömör alakja: f(x) min (max) h(x) =0 g(x) 0 (37)

48 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 48 DeÞníció. A (31) feladat megengedett megoldásainak halmaza: S = {x x R n,h(x) =0,g(x) 0}. (38) Az x vektor megengedett megoldás, ha x S. Megjegyzés: Valójában S = {x x D (f),h(x) =0,g(x) 0} volnaahelyesdeþníció. Tkp. hallgatólag feltesszük, hogy h (x) =0 g (x) 0 x D (f).

49 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 49 Csak egyenlýoségi korlátokat tartalmazó szélsýoértékfeladatok általános alakja: ahol f (x) min h (x) =0 (max), (39) S = {x x R n, h (x) =0}. (40)

50 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 50 Csak egyenlýotlenségi korlátokat tartalmazó szélsýoértékfeladatok általános alakja: ahol f (x) min g (x) 0 (max), (41) S = {x x R n, g (x) 0}. (42)

51 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 51 Feltétel nélküli optimalizálás esetén S = D (f). Feltételes optimalizálásról akkor beszélhetünk, ha S D (f) S 6= D (f). Az optimalizálási feladat felírható a következýo formában is: f(x) min (max) (x S). (43)

52 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 52 DeÞníció. Az x S vektor optimális megoldás, ha fennáll, hogy f (x ) f (x), x S (f (x ) f (x), x S). (44) Tömören jelölve: x S optimális megoldás, ha µ f (x )=min x S f (x )=max x S. (45)

53 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 53 DeÞníció. Az x S vektor lokálisan optimális megoldás, ha δ > 0,hogy µ f (x )= f (x )= min f (x) x S S(x,δ) max f (x). (46) x S S(x,δ)

54 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 54 DeÞníció. Egy x S minimumhely szigorú, ha egy δ > 0 számra fennáll, hogy f (x ) <f(x), x S S (x, δ), x 6= x. (47) Egy x S maximumhely szigorú, ha egy δ > 0 számra fennáll, hogy f (x ) >f(x), x S S (x, δ), x 6= x. (48)

55 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 55 Megjegyzések: 1. Számos esetben csak egy lokális optimumot tudunk (akárcsak közelítýoleg is) meghatározni. 2. Az optimum létezése következik Weierstrass-tételébýol, ha S R n korlátos és zárt halmaz és az f (x) célfügggvény az S halmazon folytonos. A gyakorlatban ez a tény csak ritkán használható. 3. Elég csak az f(x) min (x S) minimum feladatot vizsgálni, mert fennáll a min f (x) = max ( f(x)) egyenlýoség.

56 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 56 5 Egyenlýoségi feltételek Legyen f : R n R, h: R n R m (m<n) és vizsgáljuk az f(x) extr h(x) =0 feltételes szélsýoértékfeladatot! (49)

57 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 57 DeÞníció. Legyen x S = {x R n h (x )=0} és h C 1 (S (x, ε)) valamilyen ε > 0 értékre. Az x pont reguláris, ha a h 1 (x ),..., h m (x ) (50) gradiens vektorok lineárisan függetlenek.

58 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 58 DeÞníció. Az (49) optimalizálási feladat Lagrange-függvénye mx L(x, λ) =f(x)+λ T h(x) =f(x)+ λ i h i (x), (51) ahol λ =[λ 1,...,λ m ] T R m. A λ 1,...,λ m együtthatókat Lagrange-szorzóknak (multiplikátoroknak) is nevezik. A L(x, λ) függvény x vektor szerinti gradiense: x L(x, λ), azx vektor szerinti Hesse-mátrixa: 2 xxl(x, λ). i=1

59 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 59 Tétel. Legyen x lokális minimum (maximum) pont és tegyük fel, hogy az x pont reguláris. Ekkor!λ R m úgy, hogy x L(x, λ )=0. (52) Ha f,h C 2 (S (x, ε)) és x minimumhely, akkor fennáll z T 2 xxl(x, λ )z 0, z R n és h (x ) T z =0. (53) Ha f,h C 2 (S (x, ε)) és x maximumhely, akkor fennáll z T 2 xxl(x, λ )z 0, z R n és h (x ) T z =0. (54)

60 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 60 Megjegyzés: 1. Az (x, λ ) pont tulajdonképpen az L(x, λ) Lagrangefüggvény nyeregpontja. 2. Minimum esetén a 2 xxl(x, λ ) Hesse-mátrix feltételesen pozitív szemideþnit, a maximum esetén pedig feltételesen negatív szemideþnit.

61 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 61 DeÞníció. Legyen A R n n szimmetrikus mátrix, B pedig egy n m tipusú valós mátrix, amelynek rangja maximális, azaz rank(b) =m. AzA mátrix feltételesen pozitív deþnit (B szerint), ha x T Ax > 0, x R n, x 6= 0, B T x =0; (55) feltételesen pozitív szemideþnit, ha feltételesen negatív deþnit, ha x T Ax 0, x R n, B T x =0; (56) x T Ax < 0, x R n, x 6= 0, B T x =0; (57) feltételesen negatív szemideþnit, ha x T Ax 0, x R n, B T x =0. (58)

62 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 62 A fenti szükséges optimalitási tételben A szerepét 2 xxl (x, λ ) a B szerepét pedig h (x) játssza. A B T x =0homogén lineáris egyenletrendszer általános megoldása megadható x = Zy alakban, ahol Z R n (n m), rank(z) =n m és y R n m.ezértx T Ax = y T Z T AZy és a feltételes deþnitség a redukált kvadratikus alak φ (y) =y T Z T AZ y ³Z n m T AZ R (n m) (n m),y R (59) feltétel nélküli deþnitségét jelenti.

63 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 63 A Dx =0 (D R m n,rank(d) =m). homogén egyenletrendszer általános megoldása: rank(d) =m P R n n permutáció mátrix, hogy DP =[D 1,D 2 ] és D 1 R m m invertálható. Legyen P T x1 x = (x x 1 R m,x 2 R n m ). 2

64 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 64 Ekkor Dx = DPP T x =[D 1,D 2 ] P T x x1 =[D 1,D 2 ] = D x 1 x 1 + D 2 x 2 =0, 2 ahonnan x 1 = D1 1 D 2x 2 és az D 1 x = P 1 D 2x 2 x 2 megoldás adódik. (60)

65 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 65 Minthogy dim (N (D)) = n m, keresnünk kell n m lineárisan független megoldást, amelyek a N (D) altér egy bázisát alkotják. Ha x 2 = e i R n m és i =1,...,n m, akkor bázist kapunk, ui. a P D 1 1 D 2e i e i megoldások lineárisan függetlenek., i =1,...,n m

66 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 66 Minthogy tetszýoleges megoldás ezen megoldások lineáris kombinációja, felírhatjuk, hogy a Dx =0homogén egyenletrendszer általános megoldása D 1 1 x = P D 2 t, t R n m. (61) I n m

67 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 67 Tétel. Tegyük fel, hogy x S reguláris pont, f,h C 2 (S (x, ε)) (ε > 0)és λ R m úgy, hogy x L(x, λ )=0. (62) Ha 2 xxl (x, λ ) feltételesen pozitív deþnit, azaz z T 2 xxl(x, λ )z>0, z R n,z6= 0, h (x ) T z =0, (63) akkor x szigorú lokális minimumhely. Ha a 2 xxl(x, λ ) Hesse-mátrix feltételesen negatív deþnit, azaz z T 2 xxl(x, λ )z<0, z R n,z6= 0, h (x ) T z =0, (64) akkor x szigorú lokális maximumhely.

68 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 68 A feltételes pozitív deþnitség ellenýorzése meglehetýosen nehéz feladat. A két legismertebb eredményt mondjuk ki. Tétel. Legyen A R n n szimmetrikus. Az A mátrix akkor és csak akkor feltételesen pozitív deþnit (negatív deþnit), ha a µ A γi B p (γ) =det B T =0 (65) 0 polinomegyenlet gyökei mind pozitívak (negatívak).

69 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 69 Tétel (Chabrillac, Crouzeix). Legyen A R n n szimmetrikus. Az A mátrix feltételesen pozitív deþnit, akkor és csak akkor, ha az A B B T R (n+m) (n+m) (66) 0 szegélyezett mátrixnak m negatív, 0 zérus és n pozitív valós sajátértéke van. Az A mátrix akkor és csak akkor feltételesen negatív deþnit, ha a fenti szegélyezett mátrixnak n negatív, 0 zérus és m pozitív valós sajátértéke van.

70 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 70 Tehát a 2 xxl(x, λ ) Hesse-mátrix feltételes deþnitségét vagy a µ 2 p(γ) =det xx L(x, λ ) γi h (x ) h (x ) T =0 (67) 0 polinomegyenlet gyökeinek, vagy a 2 xx L(x, λ ) h (x ) h (x ) T R (n+m) (n+m) (68) 0 szegélyezett mátrix sajátértékeinek elýojelvizsgálatával dönthetjük el (negatív, zérus és pozitív sajátértékek száma).

71 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 71 Megjegyezés: A szegélyezett mátrix az L (x, λ) Lagrangefüggvény (x, λ) változó szerinti Hesse-mátrixa az (x, λ ) helyen, azaz 2 xx L(x, λ ) h (x ) h (x ) T = 2 (x,λ),(x,λ) 0 L (x, λ ). (69)

72 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 72 A (49) feltételes optimalizálási feladat megoldása a következýoképpen történhet: 1. Megoldjuk a x L(x, λ) =0, h(x) =0 (70) egyenletrendszert. Jelölje a megoldást (x, λ )! 2. Ellenýorizzük a 2 xxl(x, λ ) Hesse-mátrix feltételes deþnitségét a fenti két tétel valamelyikével.

73 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 73 Példa. Határozzuk meg az (x 1 4) 2 +(x 2 3) 2 =1kör origóhoz legközelebbi és legtávolabbi pontját!

74 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 74 Az x x 2 2 extr h 1 (x 1,x 2 )=(x 1 4) 2 +(x 2 3) 2 1=0 feladatot kell megoldanunk. A célfüggvényt és a h (x 1,x 2 )=0 feltételt szemléltetõ hengerpalástot a következõ ábrán láthatjuk:

75 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 75 Látható, hogy a hengerpalást és a z = x x 2 2 felület metszéspontja adja a célfüggvény értékeit a megengedett megoldások halmazán. Ennek egy legkisebb és egy legnagyobb pontja van.

76 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 76 A feladat Lagrange-függvénye: L (x 1,x 2, λ) =x x λ Ennek gradiensére fenn kell, hogy álljon ³ (x 1 4) 2 +(x 2 3) 2 1. x L (x 1,x 2, λ) =[2x 1 (1 + λ) 8λ, 2x 2 (1 + λ) 6λ] T =0 R 2 Az egyenletrendszer megoldása x 1 = x 1 (λ) =4λ/ (1 + λ), x 2 = x 2 (λ) =3λ/ (1 + λ), amelyet a feltételi egyenletbe helyettesítve

77 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 77 h (x 1 (λ),x 2 (λ)) = 25 (1 + λ) 2 1=0 adódik. Innen a lehetséges megoldások: λ =4,x 1 = 16 5,x 2 = 12 5 és Mindkét pont reguláris. λ = 6, x 1 = 24 5,x 2 = 18 5.

78 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 78 A pontok jellegét elýoször a determináns tétel alapján ellenýorizzük. Ekkor p (γ) =det (1+λ) γ 2x 2 6 =0, 2x 1 8 2x amelyet kifejtve kapjuk, hogy

79 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 79 p (γ) =4 ³(x 2 1 4) 2 +(x 2 3) (γ 2(1+λ)) = 0. Innen az egyetlen gyök γ =2(1+λ). Ha λ =4, akkor γ =10, ami a determináns tétel szerint azt jelenti, hogy a (16/5, 12/5) pont szigorú lokális minimumhely. A λ = 6 pont esetén γ = 10,amibýol az következik, hogy a (24/5, 18/5) pont szigorú lokális maximumhely.

80 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 80 A Chabrillac-Crouzeix tétel alapján eljárva kapjuk, hogy a szegélyezett mátrix 2(1+λ) 0 2x (1+λ) 2x 2 6 2x 1 8 2x Ennek sajátértékei a λ =4,x 1 = 16 5,x 2 = 12 5 esetben: 10, , A negatív sajátértékek száma 1, a zérus sajátértékek száma 0, a pozitívaké pedig 2. Eszerint itt a feladatnak szigorú lokális minimuma van..

81 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 81 A szegélyezett mátrix sajátértékei a λ = 6, x 1 = 24 5,x 2 = 18 5 esetben: -10, , Tehát 2 negatív, 0 zérus és 1 pozitív sajátérték van, aminek következtében az adott pont szigorú lokális maximumhely. A kapott pontok nemcsak lokális szélsýoérték helyek, hanem globálisak is. Ez a Weierstrass tételbýol következik.

82 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 82 DeÞníció: Legyen A R n n szimmetrikus mátrix. Az in (A) = (n +,n 0,n ) vektort az A mátrix inerciájának nevezzük, ha n + az A pozitív, n 0 az A zérus, n pedig az A negatív sajátértékeinek a számát jelenti. Értelemszerýuen n = n + + n 0 + n. A Chabrillac-Crouzeix tétel tkp. a szegélyezett mátrix inerciáját használja fel. Az inercia meghatározása véges lépésben pl. Egerváry rangszámcsökkentõ algoritmusával lehetséges.

83 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 83 6 Egyenlýotlenségi feltételek Lényegesen bonyolultabb. Vizsgáljuk a következýo általános esetet f (x) min h (x) =0, (71) g (x) 0, ahol f : R n R, h : R n R m, g : R n R r adott függvények és m + r<n.

84 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 84 DeÞníció. Ha g j (x) =0(x S), akkor j-edik egyenlýotlenségi feltétel az x pontban aktív. Az x S pontban aktív egyenlýotlenségi feltételek halmazát A (x) ={j g j (x) =0} (72) jelöli. Egy g j (x) 0 egyenlýotlenségi feltétel az x S pontban inaktív, ha g j (x) < 0.

85 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 85 DeÞníció. Legyen x S és h, g C 1 (S (x, ε)) valamilyen ε > 0 értékre. Az x pont reguláris, ha a h 1 (x ),..., h m (x ), g j (x ) (j A (x )) (73) gradiens vektorok lineárisan függetlenek.

86 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 86 Vezessük be a z =[z 1,...,z r ] T R r változót az alábbiak szerint: g 1 (x)+z1 2 =0,...,g r (x)+zr 2 =0. (74) Legyen továbbá F (x, z) =f (x), H i (x, z) =h i (x) (i =1,...,m), G j (x, z) =g j (x)+z 2 j (j =1,...,r), valamint H =[H 1,...,H m ] T és G =[G 1,...,G r ] T. (75)

87 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 87 Könnyýu belátni, hogy ha x az eredeti feladat lokális minimumhelye, akkor az p x g1 (x ). p gr (x ) Rn+r (76) pont az ekvivalens F (x, z) min H (x, z) =0, G (x, z) =0, optimumfeladat lokális minimumhelye. Tehát alkalmazható a Lagrange-féle elmélet. (77)

88 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 88 Tétel (Carathéodory, John). Legyenek f, h i (i =1,...,m)és g j (j =1,...,r) folytonosan differenciálhatók egy G R n halmazon. Tegyük fel, hogy x G belsýo pont és egyúttal az (71) feladat lokális minimuma. Ekkor létezik λ 0 R, λ R m és µ R r úgy, hogy mx rx λ 0 f (x )+ λ i h i (x )+ µ j g j (x )=0, (78) és i=1 µ 0, j=1 rx µ j g j (x )=0 (79) j=1 λ µ 6= 0. (80)

89 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 89 A tétel µ 0, rx µ j g j (x )=0 j=1 szükséges feltételét szokás az alábbi ekvivalens formában is megadni: µ 0, µ j g j (x )=0, j =1,...,r. (81)

90 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 90 Az ekvivalenciát elég csak egyik irányban igazolni. Ha g j (x ) 0, akkor két lehetýoség áll fenn: 1. Ha g j (x )=0,azazj A (x ), akkor µ j g j (x )=0is fennáll. 2. Ha j / A (x ), hogy g j (x ) < 0 és µ j > 0, akkor µ j g j (x ) < 0 miatt rx µ j g j (x )= X µ j g j (x ) < 0 j=1 j/ A(x ) lenne, ami ellentmondás. Tehát a g j (x ) < 0 esetekben szükségképpen µ j =0. Ezzel igazoltuk, hogy fenn kell állnia a µ j g j (x )=0(j =1,...,r) feltételnek.

91 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 91 A Carathéodory-John tétel híres következménye a következýo Tétel (Karush, Kuhn, Tucker). Ha az x pont reguláris, akkor a Carathéodory-John tétel a λ 0 =1választással igaz.

92 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 92 A tétel alapján bevezethetjük a L (x, λ,µ)=f (x)+λ T h (x)+µ T g (x) (λ R m,µ R r ) (82) Lagrange-féle függvényt és az alábbi fogalmat.

93 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 93 DeÞníció. Az x S pontot az (71) szélsýoérték feladat KKTLpontjának (Karush-Kuhn-Tucker-Lagrange pontjának) nevezzük, ha léteznek λ R m és µ R r Lagrange-szorzók úgy, hogy µ λ 0, µ 6= 0, (83) és x L (x, λ,µ )=0 (84) (µ ) T g (x )=0. (85)

94 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 94 Tétel. Legyen x S az (71) szélsýoérték feladat reguláris KKTLpontja és tegyük fel, hogy µ j > 0 minden j A (x ) esetén. Tegyük fel továbbá, hogy f,h,g C 2 (S (x, ε)) valamilyen ε > 0 értékre. Ha fennáll y T 2 xxl (x, λ,µ ) y>0 (86) y 6= 0, h (x ) T y =0, g j (x ) T y =0 ( j A (x )) (87) esetén, akkor x szigorú lokális minimum pont.

95 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 95 A feltételes pozitiv deþnitség ellenýorzésére vezessük be a Z mátrixot, amelynek oszlopait a h i (x ), i =1,...,m, és g j (x ), j A (x ) (88) vektorok alkotják. Legyen s a Z oszlopainak száma. Ha a 2 xx L (x, λ,µ ) Z Z T (89) 0 szegélyezett mátrixnak s negatív, 0 zérus és n pozitív sajátértéke van, akkor x szigorú lokális minimumhely. A tétel alkalmazásához szükséges, hogy µ j > 0 teljesüljön minden j A (x ) esetén.

96 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 96 Példa. Oldjuk meg a feladatot! f (x 1,x 2,x 3 )= x 1 x 2 x 3 min g (x 1,x 2,x 3 )=x 1 +3x 2 +9x 3 9 0

97 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 97 A Lagrange-függvény L (x 1,x 2,x 3,µ)= x 1 x 2 x 3 + µ (x 1 +3x 2 +9x 3 9), amelynek gradiense x L (x, µ) =[µ x 2 x 3, 3µ x 1 x 3, 9µ x 1 x 2 ] T =0 R 3. Innen és az x 1 +3x 2 +9x 3 9=0feltételbýol a µ = 1 3,x 1 =3,x 2 =1,x 3 = 1 3 megoldás (KKTL pont) adódik.

98 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 98 Az egyenlýotlenségi feltétel aktív, A = {1} (így kaptuk a KKTL pontot) és µ>0. A KKTL pont reguláris, mert g =[1, 3, 9] T 6=0. Esetünkben Z = g =[1, 3, 9] T és a szegélyezett mátrix Ennek sajátértékei 9, , , , amibýol megállapíthatjuk, hogy 1 negatív, 0 zérus és 3 pozitív sajátérték van. Az elégséges tétel alapján a KKTL pontban szigorú lokális minimum van.

99 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 99 Példa. Oldjuk meg az feladatot! f (x, y, z) =x 2 + y 2 z 2 min h (x, y, z) =z p =0 g (x, y, z) =1 x y z 0

100 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 100 A feladat Lagrange-függvénye: L (x, y, z, λ,µ)=x 2 + y 2 z 2 + λ (z p)+µ (1 x y z), amelynek gradiense x L (x, y, z, λ,µ)=[2x µ, 2y µ, 2z + λ µ] T =0 R 3. Felhasználva a h (x, y, z) =0és g (x, y, z) =0feltételeket (az egyenlýotlenségi feltételt aktívnak tekintjük, A = {1}), kapjuk, hogy a megoldás (KKTL pont) λ =1+p, µ =1 p, x = 1 p 2,y= 1 p,z= p. 2

101 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 101 Ha p<1, akkor µ>0. Esetünkben h =[0, 0, 1] T és g =[ 1, 1, 1] T lineárisan függetlenek, tehát a KKTL pont reguláris. Így Z =[ h, g] = és a megfelelýo szegélyezett mátrix

102 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A sajátértékek: , , , 2, , amibýol megállapítható, hogy 2 negatív, 0 zérus és 3 pozitív sajátérték van. Ha tehát p<1, akkor az 1 p 2, 1 p 2,p pont szigorú lokális minimumhely. A célfüggvény értéke pedig f min µ 1 p 2, 1 p 2,p = 1 2p p2. 2

103 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 103 Egyszerû fogásokkal meghatározhatjuk a fenti feladat globális minimumát is. Minthogy z = p, azért a feladat felírható az f 1 (x, y) =x 2 + y 2 p 2 min g 1 (x, y) =1 p x y 0 kétváltozós ekvivalens alakban is. Legyen most g 1 (x, y) =1 p x y = a 0, ahol a 0 egy újabb paraméter. Innen x =1 p a y és f 1 (x, y) =2y 2 +2y (a + p 1) + a 2 +2a (p 1) 2p +1.

104 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 104 Ez y-ban akkor minimális, ha y =(1 p a) /2. Ekkor x =(1 p a) /2 és µ 1 p a min f 1 = f 1, 1 p a 1 p x y=a 2 2 = a2 +2a (p 1) + 1 2p p 2. 2 Tetszõleges, de rögzített p esetén a jobboldali kifejezés akkor minimális, ha a =1 p.

105 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 105 Az a 0 feltétel miatt ez csak a p 1 esetben ad megoldást. Ekkor azonban x = y =0(z = p), f min = p 2 és az egyenlõtlenségi feltétel p>1esetén inaktív. Ha p<1, akkor p 1 < 0 és a 2 +2a (p 1) 0 (a 0). Tehát a p<1esetben a fenti jobboldali kifejezés minimumát az a =0helyen éri el. Ekkor x = y =(1 p) /2, f min = 1 2p p 2 /2 és az egyenlõtlenségi feltétel aktív

106 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 106 Következésképpen a korábban kapott lokális minimum valójában globális. Azt, hogy egy globális minimumhely van, a z = x 2 + y 2 p 2 forgás paraboloid és a z =1 p x ysíkok egyidejû ábrázolásával is láthatjuk. A következõ két ábra a p =1/2és p =2eseteknek felel meg:

107 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 107 A p =1/2 eset.

108 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 108 A p =2eset.

109 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 109 DeÞníció: Elsýorendýu optimalitási feltételek: x L (x, λ) =0, ill. x L (x, λ,µ)=0. Másodrendýu optimalitási feltételek:a 2 xxl (x, λ), ill. 2 xxl (x, λ,µ) Hesse-mátrixok feltételes (pozitív) (szemi) deþnitsége. Megjegyzés: Fontos speciális esetekben a másodrendýu feltételek vizsgálata elhagyható.

110 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A konvex programozási feladat Egy programozási feladat konvex, ha a célfüggvény és a feltételi függvények konvexek és csak egyenlýotlenség típusú korlátozó feltételek vannak. DeÞníció. Az X R n halmaz konvex, ha bármely két pontját összekötýo szakaszt is tartalmazza. Képletben: X konvex x, y X λx +(1 λ) y X ( λ [0, 1]) (90)

111 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 111 A konvex egyváltozós függvény olyan, amely mindig a húrja alatt van. DeÞníció. Az f : R n R függvény konvex a D D (f) konvex halmazon, ha f (λx +(1 λ) y) λf (x)+(1 λ) f (y) (91) teljesül x, y D és λ [0, 1] esetén.

112 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 112 DeÞníció. Az f : R n R függvény konkáv a D D (f) konvex halmazon, ha f konvex. Eszerint a konkávitás feltétele: x, y D, λ [0, 1] f (λx +(1 λ) y) λf (x)+(1 λ) f (y). (92)

113 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Példa. Legyen B R n n szimmetrikus valós mátrix, p R n és c R. Az f (x) =x T Bx + p T x + c (93) kvadratikus függvény akkor és csak akkor konvex, ha a B mátrix pozitív szemideþnit.

114 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Példa. Legyen a R n és b R. Az f (x) =a T x b (94) lineáris függvény konvex és egyúttal konkáv is. Ez triviális, mert λ [0, 1] és x, y R n esetén a T (λx +(1 λ) y) b = λ a T x b +(1 λ) a T y b.

115 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 115 Tétel. Legyen φ : R n R konvex függvény a konvex D R n halmazon. A következýo állítások igazak: 1. Tetszýoleges c R esetén az L c = {x D φ (x) c} szint-, vagy nívóhalmaz konvex. 2. A ξ (x) =max{φ (x), 0} függvény konvex az D halmazon.

116 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Ha φ (x) 0 (x D), akkor a φ 2 (x) függvény is konvex az D halmazon. 4. Ha x D a φ (x) lokális minimumhelye, akkor x egyúttal a φ (x) globális minimumhelye is az D halmazon. A 2. és 3. tulajdonságot a büntetýofüggvény módszereknél használjuk ki.

117 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 117 Tétel. Tegyük fel, hogy φ : R n R differenciálható az D R n konvex halmazon. A φ (x) akkor és csak akkor konvex az D halmazon, ha fennáll φ (y) φ (x) φ (x) T (y x), x, y D. (95)

118 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 118 DeÞníció. A konvex optimalizálás alapfeladatának nevezzük az f (x) min g (x) 0 (f : R n R, g: R n R r ) (96) optimalizálási feladatot, ahol f (x), g 1 (x),...,g r (x) konvex függvények. Példa: A c T x min Ax b, x 0 A R m n lineáris programozási feladat konvex.

119 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 119 Minthogy konvex halmazok metszete konvex és S = {x R n g i (x) 0, i =1,...,r} (97) = r i=1 {x R n g i (x) 0} (98) az 1. tulajdonságból következik, hogy S konvex. A 4. tulajdonság miatt a konvex optimalizálási alapfeladatnál a lokális minimumhely egyúttal globális is.

120 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 120 DeÞníció. A megengedett megoldások S halmaza kielégíti a Slater-féle regularitási feltételt, ha létezik olyan x S pont, hogy g (x) < 0,azaz g i (x) < 0, i =1,...,r. (99)

121 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 121 Tétel (Kuhn, Tucker). Legyenek f,g 1,...,g r konvex és folytonosan differenciálhatók az R n téren és tegyük fel, hogy a megengedett megoldások halmaza Slater-reguláris. Az x S R n pont akkor és csak akkor optimális megoldása a konvex programozási feladatnak, ha létezik µ R r úgy, hogy x L (x,µ )=0, µ j 0, µ jg j (x )=0 (j =1,...,r). (100)

122 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 122 A tétel tkp. azt mondja ki, hogy a konvex programozási feladatoknál a Karush-Kuhn-Tucker-féle szükséges feltétel egyúttal elégséges is. Ezért itt a másodrendýu optimalitási feltételeket nem kell vizsgálni.

123 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 123 Példa. Határozzuk meg az (x 1) 2 +(y 2) 2 min feladat megoldását a g (x, y) =x 2 +4x y +6 0 mellékfeltétel mellett! A feladat tkp. az y = x 2 +4x +6parabolának az (1, 2) ponthoz legközelebbi pontjának meghatározását jelenti. A célfüggvény és a feltételi függvény konvexek. A megengedett megoldások halmaza Slater-reguláris, ui. pl. g ( 2, 3) = 1 < 0.

124 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 124 A feladat Lagrange-függvénye L (x, y, µ) =(x 1) 2 +(y 2) 2 + µ x 2 +4x y +6, amelynek x és y szerinti parciális deriváltjaira fenn kell, hogy álljon L (x, y, µ) =2x (1 + µ)+4µ 2=0, x L (x, y, µ) =2y µ 4=0. y

125 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 125 ahonnan A megoldás: x = x (µ) = 1 2µ 1+µ, y = y (µ) =4+µ, 2 g(x(µ)),y(µ)) = (2 µ) µ 2 +4µ +9 2(µ +1) 2. A g(x,y ) 0, µ 0, µ g(x,y )=0feltételeket csak a µ =2választás elégíti ki, amikor is x = 1 és y =3.

126 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 126 DeÞníció. Legyen az F (x, µ) függvény F : R n R m R tipusú. Az (x,µ ) pont (x R n,µ R m, µ 0) a F (x, µ) függvény nyeregpontja, ha minden x R n és µ R m, µ 0 esetén teljesül a F (x,µ) F (x,µ ) F (x, µ ) (101) egyenlýotlenség. Az F (x, µ ) függvénynek az x pontban lokális minimuma, az F (x,µ) függvénynek pedig a µ pontban lokális maximuma van.

127 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 127 Tétel. Tegyük fel, hogy a konvex programozási alapfeladat olyan, hogy S Slater-reguláris. Ha létezik x S és µ R r úgy, hogy az L (x, µ) =f (x) +µ T g (x) (x S, µ R r ) Lagrange-függvényre fennáll az L (x,µ) L (x,µ ) L (x, µ ), x R n, µ 0, (102) akkor a konvex optimalizálási feladatnak az x pontban minimuma van. Fordítva, ha x a konvex optimalizálási feladat minimumhelye, akkor létezik µ R r, µ 0 úgy, hogy fennáll a (102) nyeregpont egyenlýotlenség.

128 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 128 Példa. Tekintsük az f (x) =(x 1) 2 +2 min, x feladatot! A megfelelýo Lagrange függvény L (x, w) =(x 1) 2 +2+w x 2 1, amelyet az alábbi ábra mutat be.

129 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 129 Lagrange-függvény

130 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 130 Példa. A x 1 + x 2 min x x 2 0, x 2 0 konvex optimalizálási feladatnak csak egyetlen megengedett megoldása van: (0, 0) T. Ez egyúttal az optimális megoldás is. n Az S = [0, 0] To halmaz nem Slater-reguláris. A feladat Lagrange-függvénye: L (x, µ) = x 1 + x 2 + µ 1 x x 2 + µ2 ( x 2 ).

131 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 131 Minthogy L (x, µ) differenciálható, a feltételezett nyeregpontban teljesülnie kell a 2µ1 x x L (x, µ) = µ 1 µ 2 +1 és x2 µ L (x, µ) = 1 + x 2 0 x 2 feltételeknek. Ennek az egyenlýotlenség rendszernek pedig nincs megoldása. Tehát a Lagrange-függvénynek nincs nyeregpontja.

132 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Duális programozási feladatok Az f (x) min g (x) 0 primál konvex optimalizálási feladat duálisa a (103) L (x, µ) max x R n,µ R r (104),µ 0, x L (x, µ) =0 programozási feladat. A két feladat viszonya speciális és ez sok esetben igen hasznos.

133 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 133 A duális feladat megengedett megoldásainak halmazát jelölje ½ ¾ x S d = x R n,µ R r,µ 0, µ x L (x, µ) =0.

134 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 134 Tétel (gyenge dualitási tétel). Ha f (x),g 1 (x),...,g r (x) differenciálható konvex függvények R n -en, akkor ½ ¾ x inf {f (x) x S} sup L (x, µ) S d. (105) µ A tétel jelentése: a primál feladat minimuma, ha létezik nem lehet kisebb mint a duál feladat maximuma (ha létezik). Az un. erýos dualitási tételek a két optimum egyenlýoségét mondják ki létezés esetén.

135 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 135 Vizsgáljuk a c T x min (LP) Ax b, x 0, lineáris programozási feladatot, ahol A R m n, c R n és b R m.

136 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 136 Hozzuk a feltételi egyenlýotlenségeket a g i (x) = a T i x b i 0 (i =1,...,m), x 0 alakra, ahol a T i az A mátrix i-edik sorvektora. Az (LP) feladat Lagrange függvénye L (x, µ, ν) =c T x + µ T (Ax b) ν T x. (106)

137 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 137 A Kuhn-Tucker tétel alapján teljesülnie kell a x L (x, µ, ν) =c + A T µ ν =0, µ 0, µ T (Ax b) =0 (107) ν 0, ν T x =0 feltételnek. Elimináljuk ν-t a Lagrange-függvénybýol és a feltételekbýol.

138 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 138 Minthogy ν = c + A T µ kapjuk, hogy L (x, µ, ν) =c T x + µ T (Ax b) c + A T µ T x = b T µ = L (µ). Figyelembevéve, hogy ν 0 A T µ c, aprimál(lp) feladat duálisa: b T µ max A T (DLP) µ c, µ 0.

139 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 139 Tétel (A lineáris programozás dualitási tétele). (a) (Gyenge dualitás): Fennáll, hogy inf c T x Ax b, x 0 ª sup b T µ A T µ c, µ 0 ª. (108) (b) (Erýos dualitás): Ha a primál, vagy a duál feladatok valamelyikének van optimális megoldása, akkor a másiknak is van és a két optimum (célfüggvényérték) megegyezik.

140 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Minimumkeresýo eljárások Fýolehetýoségek: 1. Gyökkeresýo eljárás alkalmazása a f(x) =0stacionárius egyenletre. 2. Direkt keresýo eljárások. 3. A kétféle közelítés kombinációja. 9.1 Egyváltozós függvények direkt keresýo eljárásai 1. Csak az f függvény értékeit használják fel; 2. Az x minimumhelyet tartalmazó un. befoglaló intervallumból indulnak ki és ezt szýukitik az eljárások során.

141 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 141 DeÞníció. Az f C [a, b] függvény unimodális, ha tetszýoleges x 1,x 2 [a, b], x 1 <x 2 esetén x 2 x f (x 1 ) >f(x 2 ), x 1 x f (x 1 ) <f(x 2 ). Az unimodális f az x minimumhelytýol balra szigorúan monoton csökkenýo, týole jobbra szigorúan monoton növýo. A szigorúan konvex függvények unimodálisak. A keresýo eljárások a következýo észrevételen alapulnak. (a) (b)

142 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 142 Unimodális függvény minimumhelye

143 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 143 Tétel. Legyen f C [a, b] unimodális és a < c < d < b. (i) Ha f (c) <f(d),akkorx [a, d]. (ii) Ha f (c) >f(d),akkorx [c, b]. (iii) Ha f (c) =f (d),akkorx [c, d]. Bizonyítás. (i) Tegyük fel, hogy x >d. Akkor (a) miatt f (c) >f(d), ami ellentmondás. A többi rész igazolása hasonló. Megjegyezés: Csak egy belsýo pontból származó információ alapján nem lehet a minimumhelyet tartalmazó intervallumot szýukiteni.

144 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 144 Általános keresõ algoritmus 1. Input [a 1,b 1 ], k := Legyen c k,d k (a k,b k ) és c k <d k. 3. Ha f (c k ) <f(d k ), akkor a k+1 := a k, b k+1 := d k. 4. Ha f (c k ) f (d k ), akkor a k+1 := c k, b k+1 := b k. 5. k := k +1és menjünk a 2. pontra. MegÞgyelések: 1. x... [a k,b k ]... [a 1,b 1 ]. 2. Ha b k a k 0, akkor az x minimumhely adott ε > 0 pontosságú közelitését véges iterációs lépésben megkaphatjuk. 3. A c k vagy d k pont ismételt felhasználásával az f függvény behelyettesitéseinek száma csökkenthetõ.

145 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 145 Aranymetszõ keresés (τ := 5 1 / ) Input [a 1,b 1 ], ε > 0, k := 1. c 1 := a 1 +(1 τ)(b 1 a 1 ), F c := f (c 1 ) d 1 := b 1 (1 τ)(b 1 a 1 ), F d := f (d 1 ) while b k a k ε end if F c <F d else end a k+1 := a k,b k+1 := d k,d k+1 := c k,f d := F c c k+1 := a k+1 +(1 τ)(b k+1 a k+1 ), F c := f (c k+1 ) a k+1 := c k,b k+1 := b k,c k+1 := d k,f c := F d d k+1 := b k+1 (1 τ)(b k+1 a k+1 ), F d := f (d k+1 ) k := k +1

146 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 146 Ha az eljárás befejezýodik, akkor x [a k,b k ] és b k a k < ε. Javasolt közelítés: mert ex x < ε/2. x ex := a k + b k, 2 Az aranymetszýo keresést alkalmazzuk nem unimodális függvényekre is. Ekkor nincs garancia az eljárás konvergenciájára. Az aranymetszýo keresés sebessége lineáris. Vannak gyorsabb, de több információt felhasználó keresýoeljárásokis. A kvadratikus interpolációs eljárás alapgondolata a következõ.

147 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 147 Tegyük fel, hogy 1. f(x) unimodális az [a, b] intervallumon. 2. x [a k,b k ], a k <c k <b k és f (a k ) >f(c k ), f (c k ) <f(b k ). Közelítsük az f(x) függvényt az (a k,f(a k )), (b k,f(b k )), (c k,f(c k )) pontokon átmenõ Lagrange-féle interpolációs polinommal: h(x) =px 2 + qx + r = f (a k ) (x c k)(x b k ) (a k c k )(a k b k ) + f (c k) (x a k)(x b k ) (c k a k )(c k b k ) + +f (b k ) (x a k)(x c k ) (b k a k )(b k c k )

148 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 148 A h(x) parabola ex minimumhelye lesz az x újabb közelítése. h min p = f(a k ) (a k c k )(a k b k ) + f(c k ) (c k a k )(c k b k ) + f(b k ) + (b k a k )(b k c k ) > 0. Ekkor c 2 ex = k b 2 k f (ak )+ b 2 k a2 k f (ck )+ a 2 k c2 k f (bk ) 2[(c k b k ) f (a k )+(b k a k ) f (c k )+(a k c k ) f (b k )].

149 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 149 Kvadratikus interpoláció unimodális függvényen

150 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 150 Lehetséges esetek: 1. ex <c k, f (ex) <f(c k ). Ekkor x [a k,c k ], a k+1 := a k, b k+1 := c k, c k+1 := ex. 2. ex <c k, f (ex) f (c k ). Ekkor x [ex, b k ], a k+1 := ex, b k+1 := b k, c k+1 := c k. 3. ex >c k, f (ex) <f(c k ). Ekkor x [c k,b k ], a k+1 := c k, b k+1 := b k, c k+1 := ex. 4. ex >c k, f (ex) f (c k ). Ekkor x [a k, ex], a k+1 := a k, b k+1 := ex, c k+1 := c k.

151 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 151 Alkalmazható kilépési feltételek: b k+1 a k+1 < ε, vagy h (ex) f (ex) < ε, f (ex) amely az f (x) függvény közelítésének relatív hibája a közelítõ parabola minimumhelyén.

152 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 152 Parabola keresõ eljárás 1. Input [a 1,b 1 ], c 1 (a 1,b 1 ), ε 1 > 0, ε 2 > 0, k := Számítsuk ki az c 2 ex := k b 2 k f (ak )+ b 2 k a2 k f (ck )+ a 2 k c2 k f (bk ) 2[(c k b k ) f (a k )+(b k a k ) f (c k )+(a k c k ) f (b k )] és f (ex) értékeket! 3. Ha ex <c k f (ex) <f(c k ), akkor a k+1 := a k,b k+1 := c k,c k+1 := ex. 4. Ha ex <c k f (ex) f (c k ), akkor a k+1 := ex, b k+1 := b k,c k+1 := c k.

153 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Ha ex >c k f (ex) <f(c k ), akkor a k+1 := c k,b k+1 := b k,c k+1 := ex. 6. Ha ex >c k f (ex) f (c k ), akkor a k+1 := a k,b k+1 := ex, c k+1 := c k. 7. Ha b k+1 a k+1 < ε,vagy h(ex) f(ex) f(ex) < ε, akkor vége. 8. Legyen k := k +1és menjünk a 2. pontra! Az eljárás gyorsabb mint az aranymetszõ keresés. Gyakran alkalmazzák nem unimodális függvényekre, amikor is a konvergencia nem feltétlenül teljesül.

154 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Többváltozós függvények keresýo eljárásai A Newton-módszer Az F (x) =0 (F : R n R n ) egyenletrendszer alakja: x k+1 = x k [F 0 (x k )] 1 F (x k ) (k =0, 1,...), (109) ahol Fi F 0 (x) (x) = x j n i,j=1 R n n. (110)

155 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 155 Az F 0 (x) Jacobi-mátrix invertálásának elkerülése miatt az eljárást a for k =0, 1,... F 0 (x k ) s k = F (x k ) (111) x k+1 = x k + s k end alakban használjuk.

156 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 156 Ha F (x) = f (x) =0, akkor a Jacobi mátrix alakja 2 n F 0 (x) = 2 f (x) xxf (x) =, (112) x i x j i,j=1 ami azonos f (x) függvény Hesse-mátrixával. Ekkor a Newtonmódszer alakja for k =0, 1,... 2 xxf (x k ) s k = f (x k ) (113) x k+1 = x k + s k end

157 Optimálási módszerek, 2003/2004, II. félév (óravázlat) xxf (x k ) szimmetrikus. Ha x k x min és 2 xxf (x min ) pozitív deþnit, akkor 2 xxf (x k ) is pozitív deþnit. Ekkor a Cholesky-módszert célszerýu alkalmazni. A Newton-módszer lépésenkénti számítási költsége: 1 szimmetrikus lineáris egyenletrendszer megoldása, a f (x) a gradiens vektor és a 2 xxf (x) Hesse-mátrix kiértékelése. A Newton-módszer fenti alakját megkaphatjuk egy más okfejtéssel is!

158 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 158 Közelítsük az f(x) függvényt az x k pontban az f (x k + s) q k (s) =f (x k )+ f (x k ) T s st 2 xxf (x k ) s (114) kvadratikus kifejezéssel. Ennek minimumhelyét a 2 xxf (x k ) s = f (x k ) egyenletrendszer megoldása adja, ahonnan az f(x) minimumhelyének következýo közelitése: x k+1 = x k 2 xxf (x k ) 1 f (xk ).

159 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 159 Példa. Legyen f (x, y) = y x 2 2 +(1 x) 2, amelynek egyetlen minimumhelye az (1, 1) T pont. A (0, 0) T pontban vett érintýoparaboloid q (x, y) =1 2x + x 2 + y 2, amelynek minimumhelye az (1, 0) T pont. A két függvényt a következýoábra szemlélteti.

160 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 160 Függvény és érintõ paraboloidja

161 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Módosított Newton-módszer Ha H(x) = 2 xxf (x) rosszul kondicionált, akkor Newton helyett for k =0, 1,... 2 xx f (x k )+E k sk = f (x k ) end x k+1 = x k + s k (115) E k nemnegatív elemû diagonális mátrix, 2 f(x k )+E k jól kondícionált pozitív deþnit.

162 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 162 E k megválasztására sok algoritmus ismert. A legismertebb Gill és Murray eljárása. Legyen A szimmetrikus, ε 0 és β > 0 paraméter. Az eljárás R felsýo háromszögmátrixot és E = diag(ε i ) 0 diagonális mátrixot állít elýo, amelyekre fennáll. A + E = R T R

163 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 163 Gill-Murray algoritmus: for i =1:n γ ij = a ij P i 1 k=1 r kjr ki, i j n µ i =max{ γ ij : i<j n} end r ii =max{ε, γ ii 1/2, µ i β } r ij = γ ij r ii, i<j n ε i = r 2 ii γ ii

164 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 164 Javasolt β érték: β 2 =max{ 1 n max{ a ij : i 6= j}, max{ a ii :1 i n}}. (116)

165 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Trust region módszerek Legyen Ω k = {x : kx x k k k } (117) az un. trust region (megbízhatósági tartomány). Az x k+1 = x k + s k közelítést Ω k -ban keressük: x k+1 = x k + s k, s k =argmin{q k (s) ksk 2 k } (118) ahol k > 0 az un. trust-region paraméter.

166 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 166 Jelölés: arg min f (x) =x min,amelyremin f (x) =f (x min ). Megjegyzések: 1. Ha k elég nagy, akkor feltétel nélküli eset. 2. Ha k elég kicsi, akkor ez megszorítás. 3. k értékét f (x) értékének becsült és tényleges csökkenését Þgyelembevéve változtatjuk

167 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 167 A trust region módszer algoritmusa x 0 R n, 0 > 0, 0 <µ<η < 1, 0 < γ 1 < 1 < γ 2 for i =0, 1,... Határozzuk meg a min {q k (s) ksk 2 k } feladat s k közelítõ megoldását! ρ k := f(x k) f(x k +s k ) f(x k ) q k (s k ) Ha ρ k >µ, akkor x k+1 := x k + s k, egyébként x k+1 := x k. Határozzuk k+1 értékét! end

168 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 168 A ρ k >µesetben az iterációs lépés sikeres. Aρ k µ esetben az iterációs lépés sikertelen. Aρ k hányados jelentése: a függvény tényleges csökkenése a függvény jelzett csökkenése. A k paramétert megválasztó algoritmus a következõ.

169 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 169 A k update algoritmus: Legyen 0 <µ<η < 1 és 0 < γ 1 < 1 < γ 2. a) Ha ρ k µ, akkor k+1 (0, γ 1 k ]. b) Ha ρ k (µ, η), akkor k+1 [γ 1 k, k ]. c) Ha ρ k η, akkor k+1 [ k, γ 2 k ]. Az algoritmus a paraméterek megválasztására nem túl érzékeny. Néhány javasolt érték: µ =0.25, η =0, 75, γ 1 =0, 25, γ 2 =2.

170 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 170 A feltételes kvadratikus optimalizálási probléma megoldására vonatkozik a következõ Lemma (Gay, 1981): Az s = s (λ) vektor a min {q k (s) ksk 2 k } (119) feladat megoldása akkor és csak akkor, ha létezik λ 0 úgy, hogy 2 f (x k )+λi ³ s = f (x k ), λ ksk k =0. (120)

171 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 171 Eset szétválasztással adódik, hogy λ =0és ksk 2 < k,vagy λ > 0 és ksk 2 = k. Az utóbbi esetben kapjuk, hogy 2 f (x k )+λi s (λ) = f (x k ), ks (λ)k 2 2 = 2 k, (121) amely λ-ban nemlineáris. Elég nagy k esetén k már nem csökken, az ks k k = k feltétel inaktívvá válik, λ k =0és s k a Newton-lépéssel lesz azonos.

172 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 172 Minthogy s k = s k (λ k )= ( 2 f(x k )+λ k I) 1 f(x k ), tkp. az egyváltozós k = ( 2 f(x k )+λ k I) 1 f(x k ) (122) egyenletet kell megoldanunk λ k -ra.

173 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 173 A Hesse-mátrix szimmetrikus, tehát van olyan Q ortogonális mátrix, hogy 2 f(x k )=QΓQ T, ahol Γ = diag(α 1,...,α n ). Ezért ks k k 2 = Q(Γ + λ k I) 1 Q T f(x k ) nx 2 d 2 j = (α j + λ k ) 2, ahol d j a Q T f(x k ) vektor j-edik komponense. Mármost ebbõl következik, hogy Pn P n j=1 d2 j (α n + λ k ) 2 ks kk 2 j=1 d2 j (α 1 + λ k ) 2, j=1 ahol α 1 a 2 f (x k ) legkisebb, α n a legnagyobb sajátértéke.

174 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 174 Tehát λ k az kdk α n, kdk α 1 k k intervallumban van. Az α 1 helyen ks k k-nak szingularitása van. Ezért a Newton-módszer nem a legjobban viselkedik. Hebden az ks k k = k megoldása helyett javasolja az 1 1 =0 (123) k ks k k egyenlet megoldását, amelynek már nincs szingularitása.

175 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 175 Az eljárás variánsai: 1. A min {q k (s) ksk 2 k } feladat helyett a min {q k (s) kd k sk 2 k } (124) alak, ahol D k valamilyen skálázó mátrix. Ekkor az optimális megoldás s k meghatározható a módosított ³ 2 f (x k )+λdk T D k s = f (xk ), λ kd k sk k =0 (125) feltételbõl, ahol λ 0. Ezt az alakot használja pl. a LANCELOT programcsomag is.

176 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Powell-féle dogleg lépés: Az x k pontból kiszámítunk egy s N = ( 2 f(x k )) 1 f(x k ) (126) Newton lépést. Ha s N k, akkor s k := s N. Ha nem, akkor a leggyorsabb lecsökkenés irányába teszünk egy Cauchy-lépést, ahol s C = θ f(x k ) (127) θ = k f(x k )k 2 f(x k ) T 2 f(x k ) f(x k ) minimalizálja a q k ( θ f(x k )) függvényt.

177 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 177 Ha s C k, akkor az irányt elfogadjuk, de csökkentjük, azaz k s k := k f(x k )k f(x k) (128) lesz. Ha s N > k és s C < k, akkor lesz, ahol 0 < α < 1 és ks k k = k. s k := αs N +(1 α)s C (129)

178 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Kvázi-Newton módszerek Iterációs lépésenkénti költségük O n 2 ßop. Ezért a számítási összköltségük is kisebb mint a Newton-módszeré. Alapgondolatuk: F (x) =0 (F : R n R n ) nemlineáris egyenletrendszer. Legyen x 0 x, B 0 F 0 (x ). A Newton-módszerben B k F 0 (x k ) helyettesítést végzünk:

179 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 179 for k =0, 1,... B k s k = F (x k ) x k+1 = x k + s k end. (130)

180 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 180 A B k mátrixot a B k 1 mátrixból nyerjük egy, vagy több diadikus mátrix hozzáadásával. Egyrangú módositás (update) alakja: B k = B k 1 + u k v T k (u k,v k R n ), (131) Kétrangú módositás alakja: B k = B k 1 + u k v T k + w k z T k (u k,v k,w k,z k R n ). (132)

181 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 181 Tétel (Sherman-Morrison-Woodbury). Ha A nemszinguláris és fennáll, hogy 1+v T A 1 u 6= 0,akkor A + uv T 1 = A 1 A 1 uv T A 1 1+v T A 1 u. (133) Ha B k 1 inverze ismert, akkor B k inverze O n 2 ßop mýuvelettel kiszámolható. Az s k = B 1 k F (x k) mátrix-vektor szorzás O n 2 ßop. Tehát az új x k+1 közelités költsége: O n 2 ßop.

182 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 182 A Newton-módszer Gauss-eliminációt (Cholesky-módszert) használ az 2 xxf (x k ) s k = f (x k ) egyenletrendszer megoldására, amelynek mýuveletigénye O(n 3 ) ßop. Ezért kvázi-newton módszerek olcsóbbak. Hasonló eredményt lehet elérni a B k mátrixok QRfelbontásával is.

183 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 183 Legyen F (x) L k (x) =F (x k )+B k (x x k ), B k F 0 (x k ) (134) Az x k+1 közelítést az L k (x) =0megoldása adja. A kvázi- Newton módszerek esetén kikötjük, hogy L k+1 (x k )=F (x k ), L k+1 (x k+1 )=F (x k+1 ). (135) Legyen y k = F (x k+1 ) F (x k ). Ekkor a fenti két feltételbýol kapjuk az un. B k+1 s k = y k (136) szelýo egyenletet.

184 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 184 Az egyrangú kvázi-newton update formulák általános alakja B k+1 = B k + (y k B k s k ) zk T zk Ts, (137) k ahol z k R n alkalmas módon megválasztott paraméter. Az optimális Broyden-módszer esetén z k = s k.

185 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 185 Broyden módszer: x 0 x, B 0 F 0 (x ),. for k =0, 1,... B k s k = F (x k ) x k+1 = x k + s k y k = F (x k+1 ) F (x k ) (138) end B k+1 = B k + (y k B k s k )s T k s T k s k

186 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 186 A Newton-módszer konvergencia rendje 2. A kvázi-newton módszerek konvergencia rendje csak szuperlináris. A lépések lényegesen kisebb számitási költsége miatt a kvázi-newton módszerek használata nagyméretýu feladatok esetén sok esetben elõnyösebb mint a Newton-módszeré. Minimalizálási feladatoknál olyan kvázi-newton módszereket kell alkalmazni, amelyekben B k szimmetrikus. Ezt biztosítják a kétrangú diáddal dolgozó kvázi-newton módszerek.

187 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 187 A ma legjobbnak tartott eljárás a BFGS (Broyden-Fletcher-Goldfarb-Shanno) eljárás: for k =0, 1,... H k s k = f (x k ) x k+1 = x k + s k y k = f (x k+1 ) f (x k ). (139) end H k+1 = H k + y ky T k y T k s k H ks k s T k H k s T k H ks k Itt a B k mátrixot a Hesse-mátrixra való utalásként H k jelöli.

188 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A vonalmenti minimalizálás algoritmusa 1. Input x 1, k =1. 2. Válasszuk meg az s k R n keresési irányt! 3. Határozzuk meg az α k R + értéket, amely minimumhelye a g (α) =f (x k + αs k ) (g : R R) függvénynek, azaz f (x k + α k s k )=min f (x k + αs k ). (140) α 0 4. x k+1 = x k + α k s k. 5. Legyen k = k +1és menjünk a 2. pontra!

189 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 189 Vonalmenti minimalizálás kvadratikus függvényen

190 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 190 Általános követelmények: Csökkenési feltétel: f (x 1 ) f (x 2 )... f (x k ) f (x k+1 )... (141) Állítás: A csökkenési feltétel teljesül, ha az s k irány olyan, hogy fennáll g 0 (0) = f (x k ) T s k < 0. (142) Bizonyítás: g 0 (0) < 0 miatt a g (α) függvény csökkenýoazα =0 helyen. α k > 0:f (x k+1 )=f (x k + α k s k ) f (x k ).

191 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 191 Armijo-Goldstein (AG) feltételek: f (x k+1 ) f (x k )+α k ρ f (x k ) T s k (143) f (x k )+α k σ f (x k ) T s k f (x k+1 ), (144) ahol ρ 0, 2 1, σ (ρ, 1) Þx paraméterek. A gyakorlatban ρ = 1 10 (σ =1 ρ), vagy kisebb. AG feltételek: a függvényértékek se túl lassan, se túl gyorsan nem csökkenhetnek: α k > 0 és f (x k ) T s k < 0 miatt f (x k+1 ) f (x k ),de f (x k+1 ) f (x k ) α k f (x k ) T s k. (145)

192 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 192 Egy α k lépéshossz akkor és csak akkor elégíti ki a két Armijo-Goldstein feltételt, ha g (0) + α k σg 0 (0) g (α k ) g (0) + α k ρg 0 (0). (146) Példa. Az f (x) =2x x 4 2 x 2 1 2x 2 2 függvény esetén legyen x k =[0.1, 0.4] T és s k =[ 1, 1] T. A következõ ábrán a g (t) =f (x k + ts k ), y = g (0) + tρg 0 (0) és y = g (0) + tσg 0 (0) függvényeket láthatjuk (ρ =1/10, σ =9/10).

193 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 193 Armijo-Goldstein feltételek

194 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 194 Szögfeltétel: θ k =(s k, f (x k )) π 2 µ, (147) ahol µ>0 és cos (θ k )= f(x k) T s k k f(x k )k 2 ks k k 2.

195 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 195 Az (144) feltétel helyett Wolfe-féle feltétel: f (x k+1 ) T s k σ f (x k ) T s k, (148) Egy α k lépéshossz akkor és csak akkor elégíti ki az (143) és (148) feltételeket, ha g (α k ) g (0) + α k ρg 0 (0), g 0 (α k ) σg 0 (0). (149)

196 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 196 Példa. Az f (x) =2x x 4 2 x 2 1 2x 2 2 függvény esetén legyen x k =[0.1, 0.4] T és s k =[ 1, 1] T. A következõ ábrán a g (t) =f (x k + ts k ), y = g (0) + tρg 0 (0) (Armijo felsõ) y = g 0 (t) és y = σg 0 (0) (Wolfe felsõ) függvényeket láthatjuk (ρ =1/10, σ =9/10).

197 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 197 Armijo-Wolfe feltételek

198 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 198 A két ábra összehasonlítása mutatja, hogy a vonatkozó feltételek nem ekvivalensek. Megjegyzés: A most vizsgált feltételek esetén a vonalmenti minimalizálások nem a g (t) =f (x k + ts k ) függvény t 0 feltétel melletti globális minimumát adják meg, hanem csak egy olyan α k > 0 pontot, amelyre fennáll f (x k ) f (x k + α k s k ). Bizonyos esetekben ez az α k minimumhely egy [0,T] intervallumon.

199 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 199 Tétel. Tegyük fel, hogy minden k 1 esetén fennállnak az alábbi feltételek: (i) f (x k ) T s k < 0, (ii) α k > 0, (iii) f (x k+1 ) f (x k )+α k ρ f (x k ) T s k, (iv) f (x k+1 ) T s k σ f (x k ) T s k. Ha f (x) kétszer folytonosan differenciálható és az Ω = {x : f (x) f (x 1 )} nívóhalmaz korlátos és zárt, akkor lim k + f (x k ) T s k ks k k =0. (150)

200 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 200 Bizonyítás. f (x k ) T s k < 0 f (x k+1 ) f (x k ) és x k+1 Ω. f (x) az Ω halmazon alulról korlátos {f (x k )} alulról korlátos (és monoton) {f (x k )} konvergens. Tegyük fel, hogy (150) nem teljesül. Ekkor ² > 0, K végtelen indexhalmaz, hogy (143) feltétel f (x k) T s k ks k k f (x k ) f (x k+1 ) ρα {z } k ks k k 0 Ã ², k K.! f (x k) T s k ks k k {α k ks k k} k K zérushoz konvergál. ρα k ks k k ², k

201 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 201 (148) feltétel (1 σ) ³ f (x k ) T s k ( f (x k + α k s k ) f (x k )) T s k, k Ebbýol, az elýozýoésaz x T y kxkkyk egyenlýotlenségekbýol ² f (x k) T s k ks k k 1 1 σ k f (x k + α k s k ) f (x k )k, k Minthogy {α k ks k k} k K zérushoz tart és f (x) egyenletesen folytonos az Ω halmazon, a jobboldal zérushoz kell, hogy tartson. Ellentmondásra jutottunk. Tehát a (150) reláció teljesül.

202 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 202 Ezt a fajta konvergencia tételt gyakran globálisnak nevezik, mert nincs benne feltevés az x 1 kiindulási pont és a stacionárius pont közelségérýol. Következmény: Ha a (147) szögfeltételt is kikötjük, akkor lim k f (x k)=0. (151)

203 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 203 Bizonyítás. DeÞníció szerint f (x k ) T s k = k f (x k )kks k k cos (θ k ), ahol sin (µ) cos (θ k ) 1. Ennek következtében lim k + f (x k ) T s k ks k k = lim k + k f (x k)k cos (θ k )=0 csak akkor állhat fenn, ha k f (x k )k 0, azaz, ha f (x k ) 0. Megjegyezzük, hogy a f (x k ) 0 konvergenciából még nem következik x k x, csak annyi, hogy létezik konvergens {x ki } részsorozat, amelynek határértéke kielégíti a f (x) =0 stacionárius egyenletrendszert.

204 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 204 Számos lehetýoség van az {s k } kutatási irányok megválasztására: 1. A leggyorsabb lecsökkenés módszere: s k = f (x k ); 2. Newton-szerû módszerek: s k = Bk 1 f (x k), ahol B k szimmetrikus pozitív deþnit mátrix.

205 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 205 Mindkét esetben a csökkenýo tulajdonság teljesül. A leggyorsabb lecsökkenés módszerénél f (x k ) T s k = k f (x k )k 2 < 0 ( f (x k ) 6= 0). (152) A B 1 k pozitív deþnitsége miatt a Newton-szerýu módszereknél f (x k ) T s k = f (x k ) T B 1 k f (x k) < 0 ( f (x k ) 6= 0).

206 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 206 Newton-módszer vonalmenti minimalizálással: for k =0, 1,... 2 xxf (x k ) s k = f (x k ) α k > 0:f (x k + α k s k )=min α 0 f (x k + αs k ) x k+1 = x k + α k s k end

207 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 207 Módositott Newton-módszer vonalmenti minimalizálással: for k =0, 1,... 2 xx f (x k )+E k sk = f (x k ) α k > 0:f (x k + α k s k )=min α 0 f (x k + αs k ) x k+1 = x k + α k s k end

208 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 208 DFP (Davidon-Fletcher-Powell) eljárás: for k =0, 1,... s k = Hk 1 f (x k) α k > 0:f (x k + α k s k )=min α 0 f (x k + αs k ) x k+1 = x k + α k s k. y k = f (x k+1 ) f (x k ) H 1 k+1 = H 1 s k + α k s T k k s T k y H 1 k y kyk T H 1 k k yk TH 1 k y k end Vegyük észre, hogy ezt az eljárást már inverz formában adtuk meg.

209 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 209 Egy egyszerýu, lassú, de sok esetben használható eljárás a Hooke-Jeeves módszer: Az s k irányok ciklikusan rendre az e 1,e 2,...,e n n-dimenziós egységkoordináta irányok. Képletben kifejezve s in+j = e j, j =1,...,n; i =0, 1,... (153) A Hooke-Jeeves módszer bizonyos esetekben nem konvergál. Ennek oka az s k irányok rögzítése. Szokás az s in+j = ±e j választással élni, aszerint, hogy az f (x in+j + e j ) f (x in+j ), vagy f (x in+j e j ) f (x in+j ) feltételek közül melyik teljesül.

210 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 210 Más hatékonyabb módszerek pl. Rosenbrock-módszer az irányokat nem rögzítik, hanem valamilyen elv alapján változtatják. További eljárások: Nelder-Mead szimplex eljárás, direct search eljárások (?).

211 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Numerikus deriváltak Számos esetben probléma: analitikus deriváltak meghatározása, ill. programozása. Egyszerû, a gyakorlatban - bizonyos korlátok között- bevált közelítõ formulákat adunk meg:

212 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 212 Legyen f : R n R tipusú függvény. A f (x) gradiens egy h f (x) közelítését adja meg az alábbi képlet: f(x+hkxke j ) f(x) hkxk, x 6= 0 h f (x) T e j = f(he j ) f(x) h, x =0 (j =1,...,n). (154)

213 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 213 Legyen F : R n R n típusú függvény. Az F 0 (x) Jacobi mátrix egy Fh 0 (x) közelítését adja meg az alábbi képlet: F (x+hkxke j ) F (x) hkxk, x 6= 0 F 0 h (x) e j = F (he j ) F (x) h, x =0 (j =1,...,n). (155)

214 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 214 Az f : R n R tipusú függvények 2 xxf (x) Hesse mátrixát az alábbi képletek segítségével közelíthetjük: ahol és 2 xxf (x) 2 hf (x) = A h + A T h /2, (156) A h e j = D 2 hf (x : e j ) (j =1,...,n) (157) 0, w =0 Dhf 2 (x : w) = f(x+hw/kwk) f(x) h/kwk, w 6= 0 (158)

215 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 215 Az ismertetett formulák pontossága függ: 1. a függvénytõl, 2. az x helytõl. Az ajánlott h = ε, ahol ε > 0 az un. gépi epszilon. Nagyobb pontossághoz magasabb pontosságú formulák és/vagy nagyobb pontosságú gépi aritmetika kell.

216 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Számítógépes programok, példák Tekintsük az alábbi számítógépes programokat: DFP program: DFP1 golden section programok: goldsec0, goldsec1 numerikus gradiens program: numgrad numerikus Hesse mátrix program: numhes Példa: Határozzuk meg az f(x) =e x +x 2 (x [0, 1]) függvény minimumhelyét!

217 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 217 A függvény gráfja:

218 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 218 Példa: Határozzuk meg a következýo függvény minimumát! f (x 1,x 2 )=10 x 2 x (1 x1 ) 2 min. Világos, hogy f (x 1,x 2 ) 0 és f (x 1,x 2 )=0 x 1 = x 2 =1.

219 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A büntetýofüggvény vagy SUMT módszerek SUMT=Sequential Unconstrained Minimization Techniques f (x) min h (x) =0, ahol f : R n R és h : R n R m. Alapgondolat: R. Courant (1943). (159)

220 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 220 Vezessük be a Φ (x, σ) =f (x)+ σ 2 mx i=1 h 2 i (x) =f (x)+ σ 2 h (x)t h (x) (160) = f (x)+ σ 2 kh (x)k2 2 (161) un. büntetýofüggvényt és az eredeti feladat helyett vizsgáljuk a Φ (x, σ) min (162) feltétel nélküli szélsýoérték feladatot a σ > 0 büntetýo paraméter különbözýoértékeire!

221 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 221 Ha x S = {x h (x) =0}, akkor Φ (x, σ) =f (x). Ha x/ S, akkor van legalább egy i 0 index, hogy h i0 (x) 6= 0. Ezért Φ (x, σ) =f (x)+ σ mx h 2 i (x) f (x)+ σ 2 2 h2 i 0 (x) >f(x). i=1 Tehát Φ (x, σ) >f(x) attól függýoen, hogy milyen mértékben tér el h(x) a 0 vektortól és mekkora a σ paraméter. Ha σ nagyobb, a büntetés is nagyobb.

222 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 222 Példa. Az f (x, y) = x y min, h (x, y) =x 2 + y 2 1=0 feladat célfüggvényét, megengedett megoldásainak halmazát és a σ =10értékhez tartozó büntetýofüggvényt ábrázolja az alábbi ábra. A Courant-féle büntetõfüggvény. Látható, hogy büntetýofüggvény a célfüggvényt a megengedett megoldások halmazán (az egységkörön) kívül mintegy felhajlítja.

223 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 223 Példa. Legyen f (x) =x min, h(x) =x 1=0. (163) Ekkor Φ (x, σ) =x + σ 2 (x 1)2, amelynek minimumhelye x (σ) =1 1 σ. Ez σ + esetén tart 1-hez, az eredeti feladat minimumhelyéhez. Ha tehát σ elég nagy, akkor x(σ) elég pontosan megközeliti az eredeti feladat megoldását (lásd a következýoábrát).

224 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 224 Courant-féle büntetõfüggvény különbözõ σ értékekre

225 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 225 A SUMT algoritmus általános sémája: 1. Válasszunk egy σ k + sorozatot! 2. Az x k 1 közelitésbýol kiindulva határozzuk meg a Φ (x, σ k ) min feltétel nélküli szélsýoérték feladat egy x k = x (σ k ) lokális megoldását! 3. Fejezzük be az eljárást, ha h (x (σ k )) elég kicsi! Általában a σ k =10 k 1 sorozatot használjuk.

226 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 226 Tétel. Tegyük fel, hogy f (x) és h (x) folytonos, f (x) alulról korlátos a megengedett megoldások nemüres S = {x h (x) =0} halmazán és f =inff (x). (164) x S Ha σ k + monoton növekedýo, akkor (i) A {Φ (x k, σ k )} sorozat monoton növekedýo. (ii) A {kh (x k )k} sorozat monoton csökkenýo. (iii) Az {f (x k )} sorozat monoton növekedýo. Továbbá h (x k ) 0 és az {x k } sorozat bármely torlódási pontja megoldása a feltételes szélsýoérték feladatnak.

227 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 227 Bizonyítás. Legyen k<lés σ k < σ l.azx k deþníciójából és (160)-býol Φ (x k, σ k ) Φ (x l, σ k ) Φ (x l, σ l ) Φ (x k, σ l ) (165) következik. Az elsýo két egyenlýotlenség bizonyítja az (i) állítást. Az egyenlýotlenség láncból adódó 2(Φ (x k, σ l ) Φ (x l, σ³ l )+Φ(x l, σ k ) Φ (x k, σ k )) = =(σ l σ k ) kh (x k )k 2 2 kh (x l)k egyenlýotlenség igazolja az (ii) állítást.

228 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 228 A Φ (x k, σ k ) Φ (x l, σ k ) egyenlýotlenségbýol kapjuk, hogy f (x k )+ σ ³ k kh (x k )k kh (x l)k 2 2 f (x l ), {z } 0 amibýol az {f (x k )} sorozat monoton növekedése következik. Az x k deþníciója és (164) alapján f (x k ) Φ (x k, σ k )=min x R n Φ (x, σ k) inf x S =f(x) z } { Φ (x, σ k )= f. (166)

229 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 229 Ha σ k +, akkor h (x k ) T h (x k ) 2(f f (x k )) /σ k 2(f f (x 1 )) /σ k 0 miatt, h (x k ) 0. Hax kj x, akkor a folytonosság miatt h (x )=0. Ezért f (x ) f. De (166) miatt f (x k ) f,amibýol f (x ) f következik. A két egyenlýotlenség együtt az f (x )=f egyenlýoséget adja, amivel állitásunkat maradéktalanul igazoltuk. Megjegyzés: A tételben nem tettünk fel differenciálhatóságot és a szokásos Kuhn-Tucker feltevéseket sem.

230 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 230 Egyenlýotlenségek esete: f (x) min h (x) =0, (167) g(x) 0, ahol f : R n R, h : R n R m, g : R n R r. Ekkor a megfelelýo büntetýofüggvény mx rx Φ (x, σ) =f (x)+σ h 2 i (x)+σ (max {g j (x), 0}) 2. i=1 j=1 (168)

231 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 231 Ha valamely egyenlýotlenségre, mondjuk a j-edikre fennáll, hogy g j (x) > 0, akkormax {g j (x), 0} = g j (x). Így az ebbýol származó büntetés mértéke σ (g j (x)) 2. A fenti büntetýofüggvénnyel a SUMT eljárás változatlan. Változik azonban az eljárás konvergenciája.

232 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 232 Nagy σ esetén Φ (x, σ) Hesse-mátrixa sok esetben rosszul kondicionált lesz. Megoldások: 1. Broyden és Attia speciális lineáris egyenletrendszer megoldó módszere. 2. Powell-féle büntetýofüggvény: Φ (x, θ, σ) =f (x)+ 1 mx σ i (h i (x) θ i ) 2, (169) 2 i=1 ahol θ =[θ 1,...,θ m ] T és σ =[σ 1,...,σ m ] T. A θ i paraméterek az origótól való eltolást, a σ i 0 paraméterek pedig a büntetés mértékét szabályozzák. A Powell-féle büntetýofüggvény jellegében egy nemlineáris legkisebb négyzetes feladat célfüggvénye.

233 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 233 A (163) példa esetén Φ (x, θ, σ) =x + σ 2 (x θ)2, amelynek minimumhelye x (σ) =θ 1 (lásd a következýoábrát). σ A Powell-féle büntetõfüggvény

234 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 234 A Powell büntetýofüggvény jobban számitható alakja: Bevezetjük a λ i = θ i σ i változókat és elhanyagoljuk az x-týol független 1 P m 2 i=1 θ2 i σ i tagot. Ekkor a Φ (x, λ, σ) =f (x) λ T h (x)+ 1 mx σ i h 2 i (x) (170) 2 i=1 = f (x) λ T h (x)+ 1 2 h (x)t Sh(x) (171) büntetýofüggvényt kapjuk, ahol λ =[λ 1,...,λ m ] T és S = diag (σ 1,...,σ m ). Állítás: Létezik olyan λ vektor, amelyre x a Φ (x, λ, σ) minimuma lesz minden σ > σ 0 esetén. (x, y R n, x<y x i <y i (i =1,...,n).)

235 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 235 Powell-féle SUMT eljárás: 1. Határozzuk meg a λ (k) λ sorozatot! 2. Határozzuk meg a Φ ³x, (k) λ (k), σ függvény egy x k = x ³λ (k) (k), σ lokális minimumhelyét! ³ 3. Fejezzük be az eljárást, ha h x ³λ (k) (k), σ elég kicsi!

236 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 236 λ (k) és σ (k) meghatározására a következýo algoritmust javasolják. Legyen σ (k) S (k) = (172) 0... σ (k) m

237 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 237 Powell módszere: 1. Legyen λ = λ (1), σ = σ (1), k =0, h (0) =. 2. Határozzuk meg a Φ (x, λ, σ) függvény x (λ, σ) minimumhelyét és legyen h = h (x (λ, σ)). 3. Ha khk > 1 4 h (k 1), akkor legyen σ i = 10σ i minden olyan i indexre, amelyre fennáll, hogy h i > h (k 1). Menjünk a 2. pontra! Legyen k = k +1, λ (k) = λ, σ (k) = σ, h (k) = h. 5. Legyen λ = λ (k) S (k) h (k). 6. Menjünk a 2. pontra!

238 Optimálási módszerek, 2003/2004, II. félév (óravázlat) NCP módszerek Vizsgáljuk az f (x) min h j (x) =0, j J = {1, 2,...,p}, (173) g i (x) 0, i I = {1, 2,...,m}, szélsõérték feladatot, ahol f,g i,h j : R n R (i I, j J) eléggé síma (azaz elég sokszor folytonosan differenciálható) függvények.

239 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 239 Legyen L (x, µ, λ) =f (x)+ X j J µ j h j (x)+ X i I λ i g i (x) (174) és z = x µ λ. (175)

240 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 240 A z = x T,µ T, λ T T pont Karush-Kuhn-Tucker (KKTL) pont, ha kielégítí a következõ feltételeket: x L (x, µ, λ) =0, h j (x) =0 (j J), g i (x) 0 (i I), λ i g i (x) =0 (i I), λ i 0 (i I). (176) Korábban láttuk, hogy regularitás feltevése esetén a (176) feltételek szükségesek ahhoz, hogy x a (173) feladat optimális megoldása legyen.

241 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 241 DeÞníció: A φ : R 2 R leképezést NCP-függvénynek (NCP=Nonlinear Complementarity Problem) nevezzük, ha az φ (a, b) =0 a 0, ab =0, b 0 (177) feltételt kielégíti. Tetszõleges NCP-függvényt használva a (176) Kuhn-Tucker feltételeket az ekvivalens F φ (z) =0 Fφ : R n+p+m R n+p+m (178) nemlineáris egyenletrendszer formájában is felírhatjuk, ahol

242 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 242 F φ (z) = x L (x, µ, λ) h 1 (x). h p (x) φ (λ 1,g 1 (x)). φ (λ m,g m (x)) =0. (179)

243 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 243 Tehát a Karush-Kuhn-Tucker-Lagrange pontok keresését a fenti nemlineáris egyenletrendszer megoldásával is végezhetjük. Az eljárás ötlete Mangasariantól származik. Tegyük fel a következõ feltételeket: (A.0) z = x T,µ T, λ T T a (173) feladat KKT pontja. (A.1) Az f, g i és h j (i I, j J) függvények kétszer folytonosan differenciálhatóak és a második deriváltak Lipschitz folytonosak az x egy környezetében. (A.2) A g i (x ) (i I )és h j (x ) (j J) gradiensek lineárisan függetlenek, ahol I = {i I λ i > 0}.

244 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 244 (A.3) y T 2 xxl (x,µ, λ ) y>0teljesül minden olyan y R n vektorra, amelyre y 6= 0, y T g i (x )=0(i I )és y T h j (x )=0(j J). (A.4) I = I, ahol I = {i I g i (x )=0}. (A.5) Az NCP függvény kielégíti az alábbi feltételeket φ a (λ i,g i (x )) = 0 (i I ), φ b (λ i,g i (x )) 6= 0 (i I ), φ a (λ i,g i (x )) 6= 0 (i/ I ), (180) φ b (λ i,g i (x )) = 0 (i / I ).

245 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 245 Megjegyzés: Ha az NCP függvény folytonosan differenciálható, akkor (180) elsõ és az utolsó feltétele automatikusan teljesül. Tétel (Kanzow-Kleinmichel). Legyen z = x T,µ T, λ T T a (173) feladat KKT pontja. Tegyük fel, hogy az (A.1)-(A.5) feltételek teljesülnek az z pontban. Legyen φ : R 2 R folytonosan differenciálható NCP függvény. Ekkor az Fφ 0 (z ) Jacobi mátrix nemszinguláris. Következmény: A Newton módszert alkalmazhatjuk az F φ (z) = 0 nemlineáris egyenletrendszer megoldására. Könnyen igazolható, hogy a Fφ 0 (z) Jacobi mátrix alakja

246 Optimálási módszerek, 2003/2004, II. félév (óravázlat) xxl (x, µ, λ) h 1 (x)... h p (x) g 1 (x)... g m (x h 1 (x) T. 0 0 h p (x) T ³ φ b ³ g 1 (x) T φ 1 a ³ φ b g m (x) T m ³ φ a m (181)

247 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 247 ahol ³ φ a = φ i a (λ i,g i (x)) (i I), ³ φ b i = φ b (λ i,g i (x)) (i I). (182)

248 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 248 Mindenhol differenciálható NCP függvények a következõk: φ (a, b) =ab (max {0,b a})2, (183) φ (a, b) =ab +(max{0,a}) 2 +(min{0,b}) 2, (184) φ (a, b) =(a + b) 2 + b b a a. (185) A Kanzow-Kleinmichel tétel igaz marad a φ (a, b) = a 2 + b 2 + b a (186) függvényre is, amely minden (a, b) 6= (0, 0) esetén differenciálható.

249 Optimálási módszerek, 2003/2004, II. félév (óravázlat) Többcélú optimalizálás Alapprobléma: több (egymásnak ellentmondó) célfüggvény feltételes szélsýoértékét szeretnénk egyidejýuleg biztosítani. Formálisan a többcélú optimalizálás alapfeladata: f j (x) min (j =1,...,k) x S. (187)

250 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 250 Legyen F (x) =[f 1 (x),...,f k (x)] T R k. Ekkor a feladat tömörebb alakja: F (x) min (F : R n R k ) (188) x S. Megjegyzés: Szokás vektor értékýu optimalizálásról is beszélni. A probléma a több kritériumú döntések elméletéhez tartozik.

251 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 251 DeÞníció. Az x S az (187) feladat abszolut optimuma, ha f j (x ) f j (x) (x S, j =1,...,k). (189) Abszolut optimum általában ritkán van. Helyette sok megoldási koncepció. Legszerencsésebb: a Pareto-féle efþciens megoldás, amely az abszolut optimum kérdését bizonyos értelemben megfordítja.

252 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 252 A Pareto-féle efþciens megoldás olyan x S pont, amelyhez tartozó célfüggvényértékeket nem lehet egyidejýuleg minden célfüggvényben csökkenteni. Az efþciens ponttól különbözýo y pontban valamelyik célfüggvény biztosan nagyobb lesz mint az x pontban.

253 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 253 DeÞníció. Az x S az (187) feladat gyengén Pareto-efÞciens megoldása, ha nem létezik olyan x S, amelyre fennáll, hogy F (x) <F(x ),azaz f j (x) <f j (x ) (j =1,...,k). (190) DeÞníció. Az x S az (187) feladat erýosen Pareto-efÞciens megoldása, ha nem létezik olyan x S, amelyre fennáll, hogy F (x) F (x ) és F (x) 6= F (x ),azaz f j (x) f j (x ) (j =1,...,k) és t {1,...,k} : f t (x) <f t (x (191)

254 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 254 Állítás: Az erýosen efþciens megoldások gyengén efþciensek is. Bizonyítás: Tegyük fel, hogy x erýosen Pareto-efÞciens, de nem gyenge Pareto-efÞciens. Ekkor létezik x S megoldás, hogy F (x) <F(x ). Ámde ekkor fennáll, hogy F (x) F (x ) és F (x) 6= F (x ). Tehát x nem erýosen Pareto-efÞciens pont, ami ellentmondás.

255 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 255 Példa. f 1 (x) = (x 1 + x 2 )=min, f 2 (x) = x 1 =min, 4x 1 +3x 2 12, x 1 0, x 2 0. A megengedett megoldások S halmaza az O (0, 0), A (3, 0), B (0, 4) pontok által közrezárt háromszög.

256 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 256

257 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 257 Könnyýu belátni, hogy x y (x, y S) eseténf 1 (x) f 1 (y) és f 2 (x) f 2 (y). Ezért az S halmaz belsýo pontjai, valamint az OA és OB szakasz pontjai nem lehetnek efþciens pontok. Az AB szakasz pontjai viszont mind erýosen efþciensek. Ha az (x 1,x 2 ) pont rajta van az AB szakaszon, akkor f 1 (x) = (x 1 12) /3. Hax 1 nýo, akkor f 1 (x) nýo, míg f 2 (x) csökken. Tehát AB összes pontja erýosen efþciens pont.

258 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 258 A Pareto-efÞciens megoldások száma nagy lehet. A kiválasztásukra sok módszer. Egy fontos általános technika: a redukciós módszer. Legyen H : R k R és h(x) =H(f 1 (x),...,f k (x)). Az (187) feladat helyett a h(x) min x S egycélú optimalizálási feladatot vizsgáljuk. (192)

259 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 259 Tétel. (a) Ha a H(y 1,...,y k ) függvény minden változójában monoton növekedýo és legalább egy változóban szigorúan monoton, akkor a (192) redukált feladat minden optimális megoldása egyúttal az (187) többcélú optimalizálási feladat gyengén ParetoefÞciens megoldása is. (b) Ha a H(y 1,...,y k ) függvény minden változójában szigorúan monoton növekedýo, akkor a (192) redukált feladat minden optimális megoldása egyúttal az (187) többcélú optimalizálási feladat erýosen Pareto-efÞciens megoldása is.

260 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 260 Bizonyítás. (a) Legyen x a (192) feladat optimális megoldása és tegyük fel, hogy ez nem gyengén efþciens megoldása (187)-nek. Ekkor létezik x S pont, amelyre fennáll F (x) <F(x ).AH függvény monotonitása miatt h(x) =H(f 1 (x),...,f k (x)) <h(x )=H(f 1 (x ),...,f k (x )), (193) ami ellentmond a h(x )=minfeltételnek.

261 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 261 (b) Ismét tegyük fel, hogy x nem erýosen efþciens megoldása (187)-nek. Ekkor van olyan x S pont, amelyre F (x) F (x ) és F (x) 6= F (x ).AH függvény szigorú monotonitása miatt h(x) =H(f 1 (x),...,f k (x)) <h(x )=H(f 1 (x ),...,f k (x )), (194) ami ellentmond a h(x )=minfeltételnek.

262 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A súlyok módszere. Legyen µ j 0 (j =1,...,k)és P k j=1 µ j =1. Ekkor H(y 1,...,y k )= P k j=1 µ jy j, azaz kx h(x) = µ j f j (x). (195) j=1 A µ j súlyok a célfüggvények egymás közti relatív fontosságát fejezik ki. A súlyok megállapitása szakértýoi feladat és szubjektív elemeket hordoz magában.

263 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A korlátok módszere. Tegyük fel, hogy a t-ik célfüggvény fontosabb mint a többi (1 t k) és rendelkezésünkre állnak olyan d j R korlátok (j =1,...,k; j 6= t), amelyeket a j-ik célfüggvényben el kell érni. Ekkor H(y 1,...,y k )=y t és a következýo feladatot vizsgáljuk: f t (x) min f j (x) d j (j =1,...,k; j 6= t) x S. (196)

264 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A cél-programozás módszere. Tegyük fel, hogy vannak olyan u j (j =1,...,k)célok((u 1,...,u k ) T R k cél-vektor), amelyeket az (187) feladat megoldásával kivánunk elérni. Ekkor H(y 1,...,y k )=( P k j=1 γ j y j u j p ) 1/p, ahol γ j 0 (j =1,...,k). A megfelelýo redukált feladat pedig h(x) =( P k j=1 γ j f j (x) u j p ) 1/p min x S. (197)

265 Optimálási módszerek, 2003/2004, II. félév (óravázlat) A lineáris programozás A lineáris programozás normálfeladata: Kantorovics (1939) c T x max, Ax b, x 0 (A R m n ) (198)

266 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 266 Példa. GraÞkusan oldjuk meg az alábbi feladatot: 2x 1 +4x 2 max 3x 1 +4x x 1 +5x x 1 0, x 2 0 A megengedett megoldások halmazát a következýo ábra mutatja:

267 Optimálási módszerek, 2003/2004, II. félév (óravázlat) 267