Tartalomjegyzék Bevezetés... 3 Jelölések....?? 1. Sajátértékek a kombinatorikus optimalizálásban.....?? 1. Algebrai segédtételek....?? 2. Két klasszikus sajátértékkorlát....?? 3. Neumann és Ky Fan tétele....?? 4. Partíciós problémák és a ϑ-függvény.....?? 2. Dualitástételek....?? 5. A Farkas-lemma és változatai....?? 6. A Farkas Weyl Minkowski-tétel...?? 7. Lineáris és kúplineáris dualitástételek....?? 8. Egy regularitási kritérium...?? 9. Szemidefinit programok.....?? 3. Szemidefinit korlátok....?? 10. Maximális vágás, gráf kettévágás.....?? 11. A szendvicstétel.....?? 12. Approximációs algoritmusok....?? 13. A Lovász Schrijver-módszer....?? 1
Függelékek....?? A. A Minkowski Klee-tétel....?? B. A PSD lapjairól....?? C. A Wolkowicz Zhao-korlát...?? D. A Ramana-duál....?? Irodalomjegyzék.... 8 Tárgymutató...?? 2
Bevezetés Mit tudunk mondani egy gráfról, ha csak bizonyos hozzárendelt mátrixok sajátértékeit ismerjük? Vegyük például a gráf adjacencia mátrixát, mennyit árul el ennek spektruma a gráfról? Hogy mindent nem, azt például a K 1 C 4 és a K 1,4 gráfok bizonyítják, melyek sajátértékei ugyan megegyeznek, a gráfok mégsem izomorfak. Mégis számtalan eredmény mutatja ([15], [16]), hogy a spektrumban bőséges információ rejlik a gráfról. A kombinatorikus optimalizálásban számos olyan feladattal találkozunk, melynek megoldása bizonyítottan nehéz. Például: számítsuk ki egy adott gráf kromatikus számát! A probléma NP-teljes, így valószínűleg nem oldható meg polinom időben. S hogy mégis mondhassunk valamit, megpróbáljuk könnyen számítható, szűk korlátok közé szorítani a keresett mennyiséget. A Brooks-tétel szerint ([32]) bármely gráfra χ(g) 1 + d max (χ(g) a kromatikus számot, d max a maximális fokszámot jelöli), és összefüggő gráf esetén pontosan akkor van egyenlőség, ha G klikk, vagy páratlan kör. Ez egy könnyen számítható korlát, polinom időben realizálható (tehát gyorsan ki tudjuk színezni a gráfot 1 + d max színnel), mégsem tekinthető igazán jó korlátnak, hiszen értéke egészen messze lehet χ(g)- től (pl. csillag), és (összefüggő gráfokra) mindössze két esetben ad pontos eredményt. Foglaljuk össze, hogy milyen is lenne egy ideális (felső) korlát. 1. Gyorsan számítható, sőt 2. gyorsan realizálható, 3. nem becsüli túlzottan felül a keresett mennyiséget, 4. melyet jól körülhatárolható, tág gráfosztályokra meg is ad. A jegyzetben a gráfokhoz rendelt mátrixok spektrumából nyerhető korlátokat vizsgálunk meg ebből a szempontból. Minden eddig ismert korlátnál ideálisabbnak bizonyulnak, különösen partíciós problémák esetében. Az első sajátérték-korlátot Wilf adta 1967-ben Brooks tételét bizonyítva 1 + d max helyett az élesebb 1 + α max korláttal. (α max a gráf adjacencia mátrixának legnagyobb sajátértékét jelöli.) 1970-ben Hoffman a kro- 3
matikus szám alsó korlátját adta, 1973-ban Donath és Hoffman a gráfpartíció területén ért el eredményeket. A sajátértékek használatának igen fontos példája a ϑ-függvény, melyet Lovász definiált 1979-ben. Akkor már hosszú ideje megoldatlan volt Shannon problémája, az öt-kör kapacitásának (Θ(C 5 )) meghatározása. Annyit lehetett csak tudni, hogy 5 Θ(C 5 ) 5 2, ahol az alsó korlát a definícióból, a felső korlát Shannon tételéből adódott, mely szerint Θ(G) felülről becsülhető egy lineáris program optimumértékével. A ϑ(g) az utóbbinál élesebb felső becslés a gráf kapacitására és ϑ(c 5 ) = 5, amiből Θ(C 5 ) = 5 adódik. A Shannon-probléma megoldása mellett Lovász bebizonyítja, hogy ϑ(g) a gráf stabilitási számának (α(g)) felső korlátja és perfekt gráfokra ϑ(g) = α(g). 1981-ben Grötschel, Lovász és Schrijver megmutatták, hogyan lehet az ellipszoid algoritmus segítségével polinom időben megtalálni egy perfekt gráf egy legnagyobb stabil halmazát. E tételek a szemidefinit programozás korai és szép alkalmazásai. A szemidefinit program egy mátrixváltozós lineáris program, melyben a változóra lineáris feltételek mellett pozitív szemidefinitást követelünk meg. Speciális konvex program ám még mindig elég általános ahhoz, hogy fontos konvex optimalizációs problémák, mint például a lineáris és kvadratikus program, valamint sajátérték-problémák megfogalmazhatók legyenek szemidefinit programként. A szemidefinit program néhány vonatkozásban hasonlít a lineáris programhoz. Utóbbi dualitáselmélete bizonyos regularitási feltételekkel általánosítódik a szemidefinit programokra, akárcsak a gyorsaságukban a szimplex algoritmussal vetekedő belsőpontos módszerek. Adott ǫ > 0 esetén a szemidefinit program polinom időben, ǫ-nyi additív hibával megoldható, akár az ellipszoid módszert, akár a gyakorlatban hatékonyabb belsőpontos algoritmusokat használva. 1989-ben Lovász és Schrijver megmutatták hogyan lehet egészértékű programok a lineáris relaxációnál szorosabb szemidefinit relaxációit elkészíteni. A módszer erejét mutatja, hogy mikor a stabil halmaz poliéderre alkalmazták, a poliéder négy lineáris relaxációjának metszeténél is erősebb relaxációt kaptak! A legújabb eredmények, Delorme, Poljak és Boppana korlátai a maximális vágás illetve a minimális félbevágás értékére, szintén szemidefinit programok optimumértékei. Az előbbi 0, 87-szerese a maximális vágás értékének polinom időben realizálható alsó korlátja, az utóbbi pedig bizonyos valószínűségi modellben nagy valószínűséggel pontos értéket ad. 4
A jegyzet felépítése 1. Az alapfogalmak átismétlése mellett bebizonyítjuk az alapvető tételt szimmetrikus mátrixok ortogonális diagonalizálhatóságáról, valamint Rayleigh és Cauchy tételét. 2. A gráf adjacencia mátrixának spektrumából nyerünk felső és alsó korlátot a kromatikus számra. (Wilf és Hoffman tételei.) 3. Ky Fan tételét (illetve az általánosabb Neumann-tételt) bizonyítjuk háromféleképpen konvex burok tételek és Lagrange-multiplikátorok segítségével. E tételek számos alkalmazásával találkozunk a későbbiekben: a következő fejezetben szereplő korlátok konvexitásának vizsgálatára, egyszerű bizonyítására, illetve általánosítására használjuk őket, Ky Fan tételének második bizonyítása segítségével írunk fel szemidefinit programként bizonyos sajátérték-problémákat a 9. fejezetben. 4. Ebben a fejezetben egyetlen mátrix helyett mátrixseregek spektrumaiból olvasunk ki sajátérték-korlátokat a maximális vágás, gráf félbevágás és gráfpartíció problémák optimumértékére. A Shannon-probléma és megoldása a ϑ-függvény segítségével. Megmutatjuk, hogy a ϑ-függvény egy sajátérték-probléma optimumértéke és tárgyaljuk egy általánosítását. A második részben a lineáris, illetve a konvex programozás elméletéből ismert tételeket bizonyítunk. 5. A Farkas-lemma egy szeparációs tételre és Caratheodory tételére alapuló bizonyítását adjuk, valamint néhány alakját soroljuk fel. 6. Az adjungált kúp és tulajdonságai, a lineáris egyenlőtlenségek alaptétele, a Weyl Minkowski-tétel valamint a poliéderek új jellemzése. 7. A lineáris programozás dualitástételei, majd általánosításuk (zártsági feltételekkel) a kúplineáris programok esetére. 8. Egy a zártsági feltételek teljesüléséhez elégséges kritérium. 9. A standard alakú szemidefinit program esetében újra bizonyítjuk a fenti dualitástételeket. Példák és a program bonyolultságára vonatkozó eredmények. Ezután a dualitáselmélet ismeretében visszatérünk a maximális vágás és gráf félbevágás problémákhoz, valamint a ϑ-függvényhez. Megmutatjuk, hogy a már bevezetett korlátok hogyan írhatók fel szemidefinit programok optimumértékeként, és hogy bizonyos értelemben mindnyájan ideálisak. 5
10. A maximális vágás és gráf kettévágás problémák optimumértékére adott sajátérték-korlátokat vizsgáljuk a fenti szempontból. 11. A ϑ-függvény számos jellemzése, tulajdonságai. Bizonyítjuk a szendvicstételt, amely a perfekt gráfok egy legnagyobb klikkjét polinom időben megtaláló algoritmushoz vezet. 12. A szemidefinit programozás elméletének legújabb alkalmazásai, a Goemans Williamson és a Karger Motwani Sudan approximációs algoritmus a maximális vágás, illetve a gráfszínezés problémára. 13. A Lovász Schrijver-módszer és alkalmazása a stabil halmaz problémára. Megmutatjuk, hogy az így nyert szemidefinit korlát élesebb, mint számos lineáris korlát, vagy akár a ϑ(g). A függelékekben extremális részhalmazokra vonatkozó tételeket bizonyítunk, illetve példákat mutatunk regularizációra és regularitási feltételek nélküli dualitásra. Irodalomjegyzék és köszönetnyilvánítás A jegyzet olvasása algebrai, analízisbeli, geometriai, valószínűségszámítási, véges matematikai előismereteket igényel. 17, 19, 20, 25, 26, 32, 36, 37, 39, 55, 57, 61 Az egyes fejezetekhez felhasznált irodalom: 1. 25, 26, 34, 36, 37, 61 2. 3, 13, 16, 32, 36, 39, 57, 59 3. 29, 56, 60, 61, 1, 30, 43, 47, 48, 53, 54, 17 4. 44, 18, 43, 6, 53, 50, 15, 34, 40, 41, 46 5.-7. 29, 41, 58, 7, 9-12 8. 35, 56, 41, 2, 9-12, 65, 1, 62 9. 37, 61, 45, 41, 1, 51, 63 10. 50, 18, 44, 14 11. 40, 41, 23, 34 12. 41, 22, 64, 31, 27 13. 42 A. 35, 60 B. 4, 5, 28, 38, 60 C. 66, 67 D. 49, 51, 52, 62 További (pl. műszaki) alkalmazásokról és megoldó algoritmusokról szól 1, 8, 21, 27, 33, 41, 62, 63 6
Köszönetet mondok Lovász Lászlónak, akinek 1995 decemberében tartott előadássorozata jelentős mértékben hozzájárult e jegyzet elkészítéséhez. Az 1., 2., 4., 5., 8., 9. fejezetek egyes részeit, valamint a teljes 11., 12. fejezetet szinte változtatás nélkül ezekből az előadásokból vettem át. A 12. fejezet megírásában David Williamson előadásai is segítettek. Köszönetet mondok Frank Andrásnak, aki sokirányú segítséget nyújtott e jegyzet elkészítéséhez: témavezetőmként ő hívta fel a figyelmem erre az érdekes területre, segített az anyaggyűjtésben és számos konzultációval. A jegyzet 5., 6. és 7. fejezetei lényegében az ő másodéves matematikus hallgatóknak tartott Operációkutatás előadásainak egy részét tükrözik. OTKA keretének (jelenlegi száma T17580) támogatásával számos konferenciára és minikurzusra eljutottam. Kovács Margit Konvex analízis és nemlineáris programozás előadásai (lásd [35]-t) nagy segítségemre voltak a 8. fejezet felépítésénél. Terlaky Tamás adta a 9.14.-beli ellenpéldát, számos konzultációval és az anyaggyűjtésben is segített. Hozzá a Peregrinatio II. Alapítvány segítségével jutottam ki a delfti Műszaki Egyetem Operációkutatási Tanszékére. Illés Tibor hívta fel a figyelmem a kúplineáris programozás néhány alapvető eredményére. Jos Sturm adott példát olyan gráfra, amelyre a Boppana-korlát duáljának optimumértéke nem vétetik fel. Pataki Gábor hívta fel a figyelmemet a [49] cikkre. Köszönettel tartozom még Bacsó Gábornak és ifj. Böröczky Károlynak világos előadásaikért a perfekt gráfok, illetve a konvex geometria témakörében. A jegyzet megírását a Magyar Felsőoktatásért és Kutatásért Alapítvány 109/95. számú pályázata, korábbi változatának gépeltetését a TEMPUS S JEP-11097-96 projectje támogatta. A jegyzet megírásának idején munkáltatóim az Eötvös Loránd Tudományegyetem és a MTA Rényi Alfréd Matematikai Kutatóintézet voltak. A lektori feladatokat Illés Tibor vállalta. Figyelmesen átolvasta a teljes jegyzetet és több helyütt felhívta a figyelmemet a nem elég részletesen elmagyarázott bizonyításokra, így segítve a jegyzet érthetőbbé tételét. 7
Irodalomjegyzék 1. F. Alizadeh, Interior Point Methods in Semidefinite Programming with Applications to Combinatorial Optimization, SIAM J. Optimization 5 (1995), 13 51. 2. E. Anderson and P. Nash, Linear Programming in Infinite Dimensional Spaces, John Wiley & Sons, New York, 1987. 3. B. Andrásfai, Graph Theory: Flows, matrices, Akadémiai Kiadó, Budapest, 1991. 4. G. P. Barker, The lattice of faces of a finite dimensional cone, Lin. Alg. Appl. 7 (1973), 71 82. 5. G. P. Barker and D. Carlson, Cones of diagonally dominant matrices, Pacific J. Math. 57 (1975), 14 32. 6. E. R. Barnes and A. J. Hoffman, Partitioning, spectra, and linear programming, in Progress in Combinatorial Optimization, (W. Pulleyblank, eds.), Academic Press, 1984, 13 25. 7. A. Ben-Israel, Linear equations and inequalities in finite dimensional, real or complex, vector spaces: A unified theory, J. Math. Anal. Appl. 27 (1969), 367 389. 8. A. Ben-Tal and A. Nemirovski, Convex optimization in engineering: Modeling, analysis, algorithms, Lecture notes, wi485, TU Delft. 9. A. Berman, Cones, matrices and mathematical programming, Springer-Verlag, Berlin, 1973. 10. A. Berman and A. Ben-Israel, More on Linear Inequalities with Applications to Matrix Theory, J. Math. Anal. Appl. 33 (1971), 482 496. 8
11. A. Berman and A. Ben-Israel, Linear Inequalities, Mathematical Programming and Matrix Theory, Math. Progr. 1 (1971), 291 300. 12. A. Berman and A. Ben-Israel, Linear Equations over Cones with Interior: A Solvability Theorem with Applications to Matrix Theory, Lin. Alg. Appl. 7 (1973), 139 149. 13. N. Biggs, Algebraic Graph Theory, Cambridge University Press, 1993. 14. R. B. Boppana, Eigenvalues and graph bisection: An average case analysis, 28th Annual Symp. Found. Comp. Sci. IEEE, 1987, 280 285. 15. D. M. Cvetković, M. Doob, I. Gutman and A. Torgašev, Recent results in the theory of graph spectra, Ann. Discr. Math. North-Holland 36 (1988). 16. D. M. Cvetković, M. Doob and H. Sachs, Spectra of graphs, Academic Press, New York, 1979. 17. Császár Á., Valós analízis I., Tankönyvkiadó, Budapest, 1989. 18. C. Delorme and S. Poljak, Laplacian eigenvalues and the maximum cut problem, Math. Progr. 62 (1993), 557 574. 19. Fried E., Általános algebra, Tankönyvkiadó, Budapest, 1989. 20. Fried E., Klasszikus és lineáris algebra, Tankönyvkiadó, Budapest, 1991. 21. M. X. Goemans, Semidefinite programming in combinatorial optimization, Math. Progr. 79 (1997), 143 161. 22. M. X. Goemans and D. P. Williamson, Improved Approximation Algorithms for Maximum Cut and Satisfiability Problems Using Semidefinite Programming, J. ACM 42 (1995), 1115 1145. 23. M. Grötschel, L. Lovász and A. Schrijver, The ellipsoid method and its consequences in combinatorial optimization, Combinatorica 1 (1981), 169 197. 24. Hajnal A. és Hamburger P., Halmazelmélet, Tankönyvkiadó, Budapest, 1989. 9
25. Hajós Gy., Bevezetés a geometriába, Tankönyvkiadó, Budapest, 1991. 26. P. R. Halmos, Véges dimenziós vektorterek, Műszaki Könyvkiadó, Budapest, 1984. 27. C. Helmberg, Semidefinite programming for combinatorial optimization, ZIB-Report 00-34 (2000 October), Konrad-Zuse-Zentrum für Informationstechnik Berlin. 28. R. D. Hill and S. R. Waters, On the cone of positive semidefinite matrices, Lin. Alg. Appl. 90 (1987), 81 88. 29. J. Hiriart-Urruty and C. Lemaréchal, Convex Analysis and Minimization Algorithms I, Springer-Verlag, Berlin, 1993. 30. A. J. Hoffman and H. W. Wielandt, The variation of the spectrum of a normal matrix, Duke Math. J. l20 (1953), 37 39. 31. D. Karger, R. Motwani and M. Sudan, Approximate Graph Coloring by Semidefinite Programming, J. ACM 45(2) (1998), 246 265. 32. Katona Gy. és Recski A., Bevezetés a véges matematikába, ELTE, Budapest, 1993. 33. E. De Klerk, Interior point methods for semidefinite programming, Phd Thesis, TU Delft. 34. D. E. Knuth, The sandwich theorem, The Electronic Journal of Combinatorics 1 (1994). 35. Kovács M., A nemlineáris programozás elmélete, TYPOTEX Kft., Budapest, 1997. 36. A. G. Kuros, Felsőbb algebra, Tankönyvkiadó, Budapest, 1968. 37. P. Lancaster, Theory of Matrices, Academic Press, 1969. 38. M. Laurent and S. Poljak, On the facial structure of the set of correlation matrices, SIAM J. Matrix Anal. Appl. 17 (1996), 530 547. 39. L. Lovász, Combinatorial Problems and Exercises, Akadémiai Kiadó, Budapest, 1979. 10
40. L. Lovász, On the Shannon capacity of a graph, IEEE Trans. Inform. Theory IT-25 (1979), 1 7. 41. L. Lovász, Semidefinite programs and combinatorial optimization, minicourse & lecture notes, Budapest, 1995. 42. L. Lovász and A. Schrijver, Cones of matrices and set-functions and 0 1 optimization, SIAM J. Optimization 1(2) (1991), 160 190. 43. B. Mohar and S. Poljak, Eigenvalues and the max-cut problem, Czech. Math. J. 40(115) (1990), 343 352. 44. B. Mohar and S. Poljak, Eigenvalues in combinatorial optimization, Technical report, University of Ljubljana, 1992. 45. K. G. Murty, Linear and Combinatorial Programming, John Wiley & Sons, New York, 1976. 46. G. Narasimhan and R. Manber, A generalization of Lovász s Θ function, DIMACS Series in Discrete Math. and Comp. Sci. 1 (1990), 19 27. 47. M. L. Overton and R. S. Womersley, On the sum of the largest eigenvalues of a symmetric matrix, SIAM J. Matrix Anal. Appl. 13 (1992), 41 45. 48. M. L. Overton and R. S. Womersley, Optimality conditions and duality theory for minimizing sums of the largest eigenvalues of symmetric matrices, Math. Progr. 62 (1993), 321 357. 49. G. Pataki, A simple derivation of a facial reduction algorithm and extended dual systems, Technical Report, Dept. of IE/OR, Columbia University, 2000. 50. S. Poljak and F. Rendl, Nonpolyhedral relaxations of graph-bisection problems, SIAM J. Opt. 5(3) (1995), 467 487. 51. M. Ramana, An exact duality theory for semidefinite programming and its complexity implications, Math. Progr. 77(2) (1997), 129 162. 52. M. Ramana, L. Tunçel and H. Wolkowicz, Strong duality theorems for semidefinite programming, SIAM J. Opt., 7(3) (1997), 641 662. 11
53. F. Rendl and H. Wolkowicz, A Projection Technique for Partitioning the Nodes of a Graph, Ann. Oper. Res. 58 (1995), 155 180. 54. F. Rendl and H. Wolkowicz, Applications of parametric programming and eigenvalue maximization to the quadratic assignment problem, Math. Progr. 53 (1992), 63 78. 55. Rényi A., Valószínűségszámítás, Tankönyvkiadó, Budapest, 1989. 56. R. T. Rockafellar, Convex Analysis, Princeton University Press, Princeton, NJ, 1970. 57. Rózsa P., Lineáris Algebra és Alkalmazásai, Tankönyvkiadó, Budapest, 1991. 58. A. Schrijver, Theory of Linear and Integer Programming, John Wiley & Sons, New York, 1986. 59. A. J. Schwenk and R. J. Wilson, On the Eigenvalues of a Graph, Selected Topics in Graph Theory (L. W. Beineke and R. J. Wilson eds.). 60. J. Stoer and C. Witzgall, Convexity and optimization in finite dimensions I., Springer-Verlag, Berlin, 1970. 61. G. Strang, Linear Algebra and its Applications, Academic Press, New York, 1980. 62. J. Sturm, Primal-Dual Interior Point Approach to Semidefinite Programming, Phd thesis, Tinbergen Institute Research Series no. 156, Thesis Publishers, Amsterdam, 1997. 63. L. Vanderberghe and S. Boyd, Semidefinite programming, SIAM Review 38 (1996), 49 95. 64. D. P. Williamson, Approximation algorithms, minicourse & lecture notes, Eindhoven, 1996. 65. H. Wolkowicz, Some applications of optimization in matrix theory, Linear Algebra and its Applications 40 (1981), 101 118. 66. H. Wolkowicz and Q. Zhao, Semidefinite programming relaxations for the graph partitioning problem, Discrete Applied Math. 96/97 (1999), 461 479. 12
67. Q. Zhao, S. E. Karisch, F. Rendl and H. Wolkowicz, Semidefinite programming relaxations for the quadratic assignment problem, Journal of Combinatorial Optimization, 2(1) (1998), 71 109. 13