OPTIMALIZÁCIÓ ÉS REGULARIZÁCIÓ

Hasonló dokumentumok
Kockázati Mértékek Instabilitása

5. elıadás március 22. Portfólió-optimalizálás

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Principal Component Analysis

A Markowitz modell: kvadratikus programozás

Véletlen jelenség: okok rendszere hozza létre - nem ismerhetjük mind, ezért sztochasztikus.

Nagy számok törvényei Statisztikai mintavétel Várható érték becslése. Dr. Berta Miklós Fizika és Kémia Tanszék Széchenyi István Egyetem

Általánosan, bármilyen mérés annyit jelent, mint meghatározni, hányszor van meg

Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )

Diverzifikáció Markowitz-modell MAD modell CAPM modell 2017/ Szegedi Tudományegyetem Informatikai Intézet

Statisztika elméleti összefoglaló

Hipotézis STATISZTIKA. Kétmintás hipotézisek. Munkahipotézis (H a ) Tematika. Tudományos hipotézis. 1. Előadás. Hipotézisvizsgálatok

Statisztika - bevezetés Méréselmélet PE MIK MI_BSc VI_BSc 1

STATISZTIKA. A maradék független a kezelés és blokk hatástól. Maradékok leíró statisztikája. 4. A modell érvényességének ellenőrzése

A Markowitz modell: kvadratikus programozás

11. Előadás. 11. előadás Bevezetés a lineáris programozásba

A szimplex algoritmus

[Biomatematika 2] Orvosi biometria

Matematikai statisztika c. tárgy oktatásának célja és tematikája

Nem-lineáris programozási feladatok

Saj at ert ek-probl em ak febru ar 26.

Line aris f uggv enyilleszt es m arcius 19.

Normális eloszlás tesztje

További sajátértékek. 10. előadás, május 3. Megjegyzések. A szűrés hatása a portfólió optimalizálásra

Kettőnél több csoport vizsgálata. Makara B. Gábor

6. Előadás. Vereb György, DE OEC BSI, október 12.

A maximum likelihood becslésről

Többváltozós lineáris regressziós modell feltételeinek

A pénzügyi kockázat mérése és kezelése

Többváltozós lineáris regresszió 3.

ANOVA,MANOVA. Márkus László március 30. Márkus László ANOVA,MANOVA március / 26

Biomatematika 12. Szent István Egyetem Állatorvos-tudományi Kar. Fodor János

Operációkutatás. Vaik Zsuzsanna. ajánlott jegyzet: Szilágyi Péter: Operációkutatás

1/ gyakorlat. Lineáris Programozási feladatok megoldása szimplex módszerrel. Pécsi Tudományegyetem PTI

Gyakorlati tapasztalatok magas dimenzióban. 9. előadás, április 26. Becslési módszer magas dimenzióban: páronkénti likelihood

5. előadás - Regressziószámítás

KÖVETKEZTETŐ STATISZTIKA

Problémás regressziók

Statisztika I. 8. előadás. Előadó: Dr. Ertsey Imre

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

STATISZTIKA. A Föld pályája a Nap körül. Philosophiae Naturalis Principia Mathematica (A természetfilozófia matematikai alapelvei, 1687)

Least Squares becslés

y ij = µ + α i + e ij

A lineáris programozás alapfeladata Standard alak Az LP feladat megoldása Az LP megoldása: a szimplex algoritmus 2018/

Statisztika I. 4. előadás Mintavétel. Kóczy Á. László KGK-VMI. Minta Mintavétel Feladatok.

Szinguláris érték felbontás Singular Value Decomposition

Loss Distribution Approach

15. LINEÁRIS EGYENLETRENDSZEREK

A lineáris programozás alapfeladata Standard alak Az LP feladat megoldása Az LP megoldása: a szimplex algoritmus 2017/

Adatelemzési eljárások az idegrendszer kutatásban Somogyvári Zoltán

Norma Determináns, inverz Kondíciószám Direkt és inverz hibák Lin. egyenletrendszerek A Gauss-módszer. Lineáris algebra numerikus módszerei

Megerősítéses tanulás 7. előadás

Vektorok, mátrixok, lineáris egyenletrendszerek

Bevezetés a hipotézisvizsgálatokba

Statisztika I. 4. előadás Mintavétel. Kóczy Á. László KGK-VMI. Minta Mintavétel Feladatok.

Gauss-eliminációval, Cholesky felbontás, QR felbontás

Markov modellek

Matematikai alapok és valószínőségszámítás. Statisztikai becslés Statisztikák eloszlása

BAGME11NNF Munkavédelmi mérnökasszisztens Galla Jánosné, 2011.

Statisztikai következtetések Nemlineáris regresszió Feladatok Vége

1 Lebegőpontos számábrázolás

Miért fontos számunkra az előző gyakorlaton tárgyalt lineáris algebrai ismeretek

Gazdasági matematika II. vizsgadolgozat megoldása, június 10

Lineáris regressziós modellek 1

További programozási esetek Hiperbolikus, kvadratikus, integer, bináris, többcélú programozás

Nem teljesen kitöltött páros összehasonlítás mátrixok sajátérték optimalizálása Newton-módszerrel p. 1/29. Ábele-Nagy Kristóf BCE, ELTE

MÉRÉSI EREDMÉNYEK PONTOSSÁGA, A HIBASZÁMÍTÁS ELEMEI

Kvadratikus alakok és euklideszi terek (előadásvázlat, október 5.) Maróti Miklós, Kátai-Urbán Kamilla

Többváltozós lineáris regressziós modell feltételeinek tesztelése I.

A mérési eredmény megadása

Diagnosztika és előrejelzés

Hipotézis vizsgálatok

STATISZTIKA ELŐADÁS ÁTTEKINTÉSE. Matematikai statisztika. Mi a modell? Binomiális eloszlás sűrűségfüggvény. Binomiális eloszlás

Hipotézis, sejtés STATISZTIKA. Kétmintás hipotézisek. Tudományos hipotézis. Munkahipotézis (H a ) Nullhipotézis (H 0 ) 11. Előadás

Bevezetés a programozásba. 5. Előadás: Tömbök

Likelihood, deviancia, Akaike-féle információs kritérium

Strukturált Generátorrendszerek Online Tanulása és Alk-ai

Képfeldolgozás. 1. el adás. A képfeldolgozás m veletei. Mechatronikai mérnök szak BME, 2008

Mátrixok 2017 Mátrixok

Markov-láncok stacionárius eloszlása

Kísérlettervezés alapfogalmak

A leíró statisztikák

12. előadás - Markov-láncok I.

Elemi statisztika fizikusoknak

y ij = µ + α i + e ij STATISZTIKA Sir Ronald Aylmer Fisher Példa Elmélet A variancia-analízis alkalmazásának feltételei Lineáris modell

Asszociációs szabályok

Exponenciális kisimítás. Üzleti tervezés statisztikai alapjai

biometria II. foglalkozás előadó: Prof. Dr. Rajkó Róbert Matematikai-statisztikai adatfeldolgozás

Lineáris egyenletrendszerek

Adatmodellez es, f uggv enyilleszt es m arcius 12.

Páros összehasonlítás mátrixokból számolt súlyvektorok Pareto-optimalitása

Optimális mérési elrendezés hidraulikus hálózatokon

Mérési hibák

Feladat: megoldani az alábbi egyenletrendszert: A x = b,

Csoport-struktúrált generátorrendszerek online tanulása

Korreláció és lineáris regresszió

GVMST22GNC Statisztika II. Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet

Kísérlettervezés alapfogalmak

2013 ŐSZ. 1. Mutassa be az egymintás z-próba célját, alkalmazásának feltételeit és módszerét!

Mátrixhatvány-vektor szorzatok hatékony számítása

Átírás:

OPTIMALIZÁCIÓ ÉS REGULARIZÁCIÓ Kondor Imre Parmenides Foundation, Pullach/Munich and London Mathematical Laboratory, London, and Complexity Science Hub, Vienna, Austria Szemináriumi előadás a Budapesti Műszaki és Gazdaságtudományi Egyetem Fizikai Intézetében, Budapest, 2018 február 13.

Társszerzők Fabio Caccioli, UCL, London Papp Gábor, ELTE, Budapest

Cél Analitikus eredmények levezetése regularizált portfólió optimalizációs feladatokra. A legegyszerűbb lineáris portfóliót tekintjük ahol ww ii az i-dik eszköz súlya (lehet negatív is!), xx ii pedig a hozama. A kockázati mérték a variancia (σ 2 pp ) lesz, a regularizátor a rövid pozíciók tilalma mint az l 1 speciális esete. In-sample és out-of-sample eredményeket vezetünk le a kockázati mértékekre, a becslési hibára és az optimális súlyokra.

A portfólióválasztási feladat A várható hozam becslése annyira pontatlan, hogy sok szerzőt követve a kockázat globális minimumára koncentrálunk, vagyis az argmin σ 2 pp (ww ii ) ww ii = N Feladatra (eltértünk a szokásos normálástól).

Ha pontosan ismernénk a hozamok eloszlását meg tudnánk határozni a σ iiii kovariancia mátrixot, és a 2 σ = wσ w = min s. t. ii ww ii = N p feladat megoldását a súlyok adnák. ij i ij j * w i NB: A kovariancia mátrix inverze szerepel! = j jk ( σ ( σ 1 1 ) ) ij jk

Például diagonális kovariancia mátrix esetén, azaz ha σ pp 2 = ii σ ii 2 ww ii 2, s.t. ii ww ii = N, az optimális súlyok: ww ii = 1 σ ii 2 a variancia optimális értéke: σ pp 2 = A súlyok eloszlása: Dirac-delta tüskék sorozata. NN jj σ jj 2, NN 1. NN jj σ jj 2 p(w) = 1 NN ii δ( ww ww ii ),

A hozamok eloszlása általában nem ismert Ezért a kovariancia mátrixot a piacon végzett megfigyelésekből kell becsülni. A portfólió varianciája: σ pp = ii,jj ww ii σ ii,jj ww jj A becsült kovariancia mátrix: σ ii,jj = 1 TT tt xx iiii xx jjjj

A feladat paraméterei N, a portfólió dimenziója (a portfóliót alkotó különböző elemek száma); intézményi portfóliók esetében N nagyon nagy lehet (több száz, vagy ezer) T, a megfigyelt idősorok hossza; a feladat jellegéből adódóan mindig korlátos A kettő hányadosa: r = NN TT paraméter. fontos kontroll

Ha r kicsi, akkor sok információnk van a portfólió méretéhez képest, a klasszikus statisztika érvényes, és az optimalizációs feladat becslési hibája kicsi. Ha r nem kicsi, hanem N összemérhető T-vel, vagy akár nagyobb nála, akkor a nagydimenziós statisztika területén mozgunk, a becslési hiba nagyon nagy lehet.

A minta Az i-dik eszköz hozama a t időpontban: xx iiii. xx 11 xx 12 xx 13 xx 1TT xx 21 xx 22 xx 23... xx 2TT. xx NNN xx NNN xx NNN xx NNNN A statisztikában tipikusan egy mintáról beszélünk Itt az N T méretű minták sokaságáról

A becslési hiba mértéke A variancia valódi értéke: iijj ww tttttttt ii σ tttttttt tttttttt iiii ww jj A mintán belül becsült variancia (in-the-sample): iijj ww eeeeee ii σ eessss iiii ww eeeeee jj - alulbecsli a kockázatot Out-of-sample becslés: iijj ww eeeeee ii σ tttttttt eeeeee iiii ww jj A hiba mértéke: qq 0 = iijj ww ii eeeeee tttttttt eeeeee σ iiii wwjj iijj ww tttttttt ii σ tttttttt iiii ww tttttttt jj - véletlen változó (de ön-átlagol ); mindig > 1. A szórás relatív hibája : qq 0-1. A hiba r =1-hez közeledve -hez tart!

A hiba növekedése r-rel r = N/T Pl. ha N=100, T értéke Hiba % 0.02 5000 1 0.1 1000 5.5 0.17 588 10 0.31 323 20 0.41 244 30 0.49 204 40 1 100

Regularizáció Amikor az r = N/T hányados nem kicsi, a nagydimenziós statisztika a hatalmas mintaingadozásokon regularizátorok bevezetésével próbál úrrá lenni. Olyan tagokat ad a célfüggvényhez, amelyek csitítják a nagy ingadozásokat. Ezzel torzítást vezet be, de azt reméli, hogy a lecsökkent ingadozások és a torzítás között értelmes kompromisszum található (variance-bias trade-off). Szokásos regularizátorok: l 2 = ii ww 2 ii (shrinkage), vagy l 1 = ii ww ii (lasso).

VARIANCIA + ℓ1

Variancia + l 2 regularizáció Nagy (analitikus és empirikus) irodalma van. Az l 2 összehúzza a becsült kovariancia mátrix sajátérték-spektrumát, megakadályozza, hogy a legkisebb sajátértékek nullává váljanak. Extrém esetben az 1/N portfólióhoz vezet. Bonyolultabb változatai lehetővé teszik a spektrumról alkotott előzetes várakozások Bayesszerű érvényesítését. Legfejlettebb, nem-lineáris formájában (Ledoit, Wolf, Péché, J.-P. Bouchaud és mtsai) közel r = ½ - ig terjedően is elfogadható eredményeket ad.

Kvadratikus programozás A lasso (l 1 ) a legnépszerűbb regularizációs eljárás a gépi tanulásban. A változók egy részét eliminálja, csökkenti a feladat dimenzióját. Analitikus megvalósítása eddig nem volt. A variancia optimalizációja akár az l 2, akár az l 1 mellett kvadratikus programozási feladatra vezet. Erre kitűnő programok léteznek (R, Matlab, ). Ezek azonban súlyosan félrevezetők lehetnek, ha az alkalmazó nem ismeri a pontos részleteiket és a megoldandó feladat szerkezetét.

Analitikus eredményekre szükség van ahhoz hogy megértsük a feladat szerkezetét. Számos analitikus eredmény ismeretes a variancia + l 2 problémára. A variancia + l 1 feladatot empirikus adatokon vizsgálták numerikusan Daubechies és mtsai, ill. Uppal és mtsai. Analitikus eredmény korábban nem volt ismeretes. Ezt pótoljuk itt. Plusz meghatározzuk a portfólió súlyok eloszlását, amit korábbi munkák nem tárgyaltak.

A módszer A rendezetlen rendszerek statisztikus fizikájából kölcsönözzük replikák módszere. Ez feltételezi a hozamok Gauss-eloszlását. Átlagol az N T méretű minták sokaságára. Az ú.n. Kolmogorov vagy termodinamikai limeszben működik: N, T, miközben N/T = r fix. A szimulációk már mérsékelten nagy N-ekre is jól követik az elméleti eredményeket (N=50, vagy pár száz).

A rövid pozíciók tilalma mint az l 1 regularizáció speciális esete Aszimmetrikus l 1 : θ (x) = 0, ha x < 0, θ (x) = 1, ha x > 0 Speciális eset: ha η 1 = η 2 = η, g (w) = η ii ǀww ii ǀ η 1 = 0, η 2, nincs megszorítás a hosszú pozíciókon, végtelen büntetés a rövideken.

A no-short constrained optimalizációs probléma mmmmmm ww s.t. ww ii xx iiii xx jjjj ww jj ttiiii ii ww ii = NN ww ii 0 A hozam várhatóértékére kirótt feltételt egyszerűség kedvéért elhagytuk. Ez a feladat numerikusan mindig megoldható, tetszőleges eloszlású, vagy empirikusan megfigyelt hozamokra. Mi analitikus eredményeket akarunk kapni.

A kovariancia mátrix rangja Amíg N < T, a kovariancia mátrix rangja egy valószínűséggel N. Amikor N > T, 1, 2, zérus sajátérték jelenik meg. A kockázat minimalizálása a σ ii,jj invertálását követeli meg. Egy szinguláris mátrix azonban nem invertálható nullával nem lehet osztani. A programkönyvtárakból letölthető szolvereknek az a baja, hogy úgy tesznek, mintha tudnának nullával osztani.

Variancia optimalizálása a no-short kényszer nélkül Optimális in-sample variancia: σ pp 2 = (1-r) Becslési hiba: qq 0 = Súlyok eloszlása: 1 1 rr - divergál! NN 1 NN jj σ jj 2 ahol és

Az instabilitás geometriai értelme rr cc = 1 fölött a célfüggvény bizonyos irányokban ellaposodik (megszűnik a görbülete). Tetszőleges nagy, kompenzáló pozitív és negatív pozíciók lépnek fel az optimalizáció értelmetlenné válik. Ennek az instabilitásnak semmi köze a hozamok Gauss-eloszlásához, ez tisztán geometriai jelenség (vagy ha úgy tetszik lineáris algebrai: az ismeretlenek száma meghaladja az egyenletekét), a kritikus pont és a különböző mennyiségek kitevői univerzálisak.

Legyünk óvatosak az okos szoftverekkel!

Rejtett regularizátorok (Lewis Meaddel végzett vizsgálat)

Mennyire ismert ez a probléma? Némelyik programban van figyelmeztetés, másutt nincs, csak egy exit flag. Tapasztalataim szerint az egyetemi hallgatók soha nem ellenőrzik a programkönyvtárakból letöltött kódok részleteit, nem is úgy tanítják őket. És a kutatóorvosok? Pszichológusok? Ökonométerek? Kis csoporton végzett felmérésem szerint a kockázatkezelők és alapkezelők sokszor fekete dobozokkal dolgoznak.

Optimalizálás a rövid pozíciók tilalma mellett Az optimumot a szimplexen keressük: ii ww ii = NN, ww ii 0. A kényszer megnöveli a stabilitás tartományát. Új kritikus pont: rr cc =2. A becslési hiba véges marad! (Nagy longitudinális ingadozások nem léphetnek fel) De: a transzverzális ingadozások továbbra is divergálnak! Az l 1 hatásaként a súlyok egy része (határesetben a fele) nullává válik, felépül egy kondenzátum.

Eredmények a no-short kényszer mellett Optimális in-sample variancia: qq 0 (1+ΔΔ) 2 Becslési hiba: qq 0 véges marad (π hez tart, ha r 2) Az új kritikus paraméter divergál: A súlyok eloszlása: qq 0 (1+ΔΔ),,

További eredmények a no-short problémára A nagy volatilitású eszközök eliminálódnak először Közel eső súlyok csak kis r mellett bonthatók fel. A variancia eltűnik, konstans célfüggvény : σ 2 pp 0 Véges, negatív no-short korlát mellett az rr cc csökken. A nulla varianciájú megoldások valószínűsége: Az rr cc =2 fázisátmenet is univerzális Ezt az instabilitást könnyű elnézni!

A variancia + l 1 probléma összefoglalva A no-short feltétel kitágítja a stabilitás tartományát Az rr cc = 1, ill. 2 átmenetek univerzálisak, de a sztandard szoftverek hajlamosak elnyomni őket, és a súlyokat egyenletesen szétosztani a nulla módusok között. Tisztában kell lenni a beépített regularizátorokkal, és anticipálni kell az instabilitást, hogy észrevegyük. Bias-variance trade-off nem nagyon hatékony itt, a súlyok felbontása csak T >> N mellett lehetséges, egyébként egy véletlen minta, vagy előítélet alapján hozunk döntést.

KÖSZÖNÖM A FIGYELMET

Some references I. Kondor, Sz. Pafka, G. Nagy: Noise sensitivity of portfolio selection under various risk measures, Journal of Banking and Finance, 31, 1545-1573 (2007). S. Ciliberti, I. Kondor, M. Mezard: On the Feasibility of Portfolio Optimization under Expected Shortfall, Quantitative Finance, 7, 389-396 (2007) I. Varga-Haszonits and I. Kondor: The instability of downside risk measures, J. Stat. Mech. P12007 doi: 10.1088/1742-5468/2008/12/P12007 (2008) S. Still and I. Kondor: Regularizing portfolio optimization, New Journal of Physics, 12, 075034 Doi: 10.1088/1367-2630/12/7/075034 (2010). F. Caccioli, S. Still, M. Marsili and I. Kondor: Optimal Liquidation Strategies Regularize Portfolio Selection, European Journal of Finance, 19, 554-571 (2013), Doi: 10.1080/1351847X.2011.601661, http://arxiv:1004.4169v1 [q-fin.pm] (2010).

F. Caccioli, I. Kondor, M. Marsili and S. Still: Liquidity risk and instabilities in portfolio optimization, International Journal of Theoretical and Applied Finance, 19/5 (2016), posted online on July 29, 2016; (DOI: 10.1142/S0219024916500357), pp.1650035 (2016). F. Caccioli, I. Kondor and G. Papp: Portfolio optimization under Expected Shortfall: Contour maps of estimation error, to appear in Quant. Finance, available at http://arxiv.org/abs/1510.04943 (2015). F. Caccioli, G. Papp and I. Kondor: Fluctuation-bias trade-off in portfolio optimization under Expected Shortfall with l_2 regularization, http://arxiv:1602.08297v1 [q-fin.pm] (2016) I. Kondor, G. Papp and F. Caccioli: Analytic solution to variance optimization with no short-selling, to appear in JSTAT, https://arxiv.org/pdf/1612.07067. I. Kondor, G. Papp and F. Caccioli: Analytic approach to variance optimization under an l 1 constraint, arxiv:1709.08755v1 [q-fin.pm]