OPTIMALIZÁCIÓ ÉS REGULARIZÁCIÓ

Átírás

1 OPTIMALIZÁCIÓ ÉS REGULARIZÁCIÓ Kondor Imre Parmenides Foundation, Pullach/Munich and London Mathematical Laboratory, London, and Complexity Science Hub, Vienna, Austria Szemináriumi előadás a Budapesti Műszaki és Gazdaságtudományi Egyetem Fizikai Intézetében, Budapest, 2018 február 13.

2 Társszerzők Fabio Caccioli, UCL, London Papp Gábor, ELTE, Budapest

3 Cél Analitikus eredmények levezetése regularizált portfólió optimalizációs feladatokra. A legegyszerűbb lineáris portfóliót tekintjük ahol ww ii az i-dik eszköz súlya (lehet negatív is!), xx ii pedig a hozama. A kockázati mérték a variancia (σ 2 pp ) lesz, a regularizátor a rövid pozíciók tilalma mint az l 1 speciális esete. In-sample és out-of-sample eredményeket vezetünk le a kockázati mértékekre, a becslési hibára és az optimális súlyokra.

4 A portfólióválasztási feladat A várható hozam becslése annyira pontatlan, hogy sok szerzőt követve a kockázat globális minimumára koncentrálunk, vagyis az argmin σ 2 pp (ww ii ) ww ii = N Feladatra (eltértünk a szokásos normálástól).

5 Ha pontosan ismernénk a hozamok eloszlását meg tudnánk határozni a σ iiii kovariancia mátrixot, és a 2 σ = wσ w = min s. t. ii ww ii = N p feladat megoldását a súlyok adnák. ij i ij j * w i NB: A kovariancia mátrix inverze szerepel! = j jk ( σ ( σ 1 1 ) ) ij jk

6 Például diagonális kovariancia mátrix esetén, azaz ha σ pp 2 = ii σ ii 2 ww ii 2, s.t. ii ww ii = N, az optimális súlyok: ww ii = 1 σ ii 2 a variancia optimális értéke: σ pp 2 = A súlyok eloszlása: Dirac-delta tüskék sorozata. NN jj σ jj 2, NN 1. NN jj σ jj 2 p(w) = 1 NN ii δ( ww ww ii ),

7 A hozamok eloszlása általában nem ismert Ezért a kovariancia mátrixot a piacon végzett megfigyelésekből kell becsülni. A portfólió varianciája: σ pp = ii,jj ww ii σ ii,jj ww jj A becsült kovariancia mátrix: σ ii,jj = 1 TT tt xx iiii xx jjjj

8 A feladat paraméterei N, a portfólió dimenziója (a portfóliót alkotó különböző elemek száma); intézményi portfóliók esetében N nagyon nagy lehet (több száz, vagy ezer) T, a megfigyelt idősorok hossza; a feladat jellegéből adódóan mindig korlátos A kettő hányadosa: r = NN TT paraméter. fontos kontroll

9 Ha r kicsi, akkor sok információnk van a portfólió méretéhez képest, a klasszikus statisztika érvényes, és az optimalizációs feladat becslési hibája kicsi. Ha r nem kicsi, hanem N összemérhető T-vel, vagy akár nagyobb nála, akkor a nagydimenziós statisztika területén mozgunk, a becslési hiba nagyon nagy lehet.

10 A minta Az i-dik eszköz hozama a t időpontban: xx iiii. xx 11 xx 12 xx 13 xx 1TT xx 21 xx 22 xx xx 2TT. xx NNN xx NNN xx NNN xx NNNN A statisztikában tipikusan egy mintáról beszélünk Itt az N T méretű minták sokaságáról

11 A becslési hiba mértéke A variancia valódi értéke: iijj ww tttttttt ii σ tttttttt tttttttt iiii ww jj A mintán belül becsült variancia (in-the-sample): iijj ww eeeeee ii σ eessss iiii ww eeeeee jj - alulbecsli a kockázatot Out-of-sample becslés: iijj ww eeeeee ii σ tttttttt eeeeee iiii ww jj A hiba mértéke: qq 0 = iijj ww ii eeeeee tttttttt eeeeee σ iiii wwjj iijj ww tttttttt ii σ tttttttt iiii ww tttttttt jj - véletlen változó (de ön-átlagol ); mindig > 1. A szórás relatív hibája : qq 0-1. A hiba r =1-hez közeledve -hez tart!

12 A hiba növekedése r-rel r = N/T Pl. ha N=100, T értéke Hiba %

13 Regularizáció Amikor az r = N/T hányados nem kicsi, a nagydimenziós statisztika a hatalmas mintaingadozásokon regularizátorok bevezetésével próbál úrrá lenni. Olyan tagokat ad a célfüggvényhez, amelyek csitítják a nagy ingadozásokat. Ezzel torzítást vezet be, de azt reméli, hogy a lecsökkent ingadozások és a torzítás között értelmes kompromisszum található (variance-bias trade-off). Szokásos regularizátorok: l 2 = ii ww 2 ii (shrinkage), vagy l 1 = ii ww ii (lasso).

14 VARIANCIA + ℓ1

15 Variancia + l 2 regularizáció Nagy (analitikus és empirikus) irodalma van. Az l 2 összehúzza a becsült kovariancia mátrix sajátérték-spektrumát, megakadályozza, hogy a legkisebb sajátértékek nullává váljanak. Extrém esetben az 1/N portfólióhoz vezet. Bonyolultabb változatai lehetővé teszik a spektrumról alkotott előzetes várakozások Bayesszerű érvényesítését. Legfejlettebb, nem-lineáris formájában (Ledoit, Wolf, Péché, J.-P. Bouchaud és mtsai) közel r = ½ - ig terjedően is elfogadható eredményeket ad.

16 Kvadratikus programozás A lasso (l 1 ) a legnépszerűbb regularizációs eljárás a gépi tanulásban. A változók egy részét eliminálja, csökkenti a feladat dimenzióját. Analitikus megvalósítása eddig nem volt. A variancia optimalizációja akár az l 2, akár az l 1 mellett kvadratikus programozási feladatra vezet. Erre kitűnő programok léteznek (R, Matlab, ). Ezek azonban súlyosan félrevezetők lehetnek, ha az alkalmazó nem ismeri a pontos részleteiket és a megoldandó feladat szerkezetét.

17 Analitikus eredményekre szükség van ahhoz hogy megértsük a feladat szerkezetét. Számos analitikus eredmény ismeretes a variancia + l 2 problémára. A variancia + l 1 feladatot empirikus adatokon vizsgálták numerikusan Daubechies és mtsai, ill. Uppal és mtsai. Analitikus eredmény korábban nem volt ismeretes. Ezt pótoljuk itt. Plusz meghatározzuk a portfólió súlyok eloszlását, amit korábbi munkák nem tárgyaltak.

18 A módszer A rendezetlen rendszerek statisztikus fizikájából kölcsönözzük replikák módszere. Ez feltételezi a hozamok Gauss-eloszlását. Átlagol az N T méretű minták sokaságára. Az ú.n. Kolmogorov vagy termodinamikai limeszben működik: N, T, miközben N/T = r fix. A szimulációk már mérsékelten nagy N-ekre is jól követik az elméleti eredményeket (N=50, vagy pár száz).

19 A rövid pozíciók tilalma mint az l 1 regularizáció speciális esete Aszimmetrikus l 1 : θ (x) = 0, ha x < 0, θ (x) = 1, ha x > 0 Speciális eset: ha η 1 = η 2 = η, g (w) = η ii ǀww ii ǀ η 1 = 0, η 2, nincs megszorítás a hosszú pozíciókon, végtelen büntetés a rövideken.

20 A no-short constrained optimalizációs probléma mmmmmm ww s.t. ww ii xx iiii xx jjjj ww jj ttiiii ii ww ii = NN ww ii 0 A hozam várhatóértékére kirótt feltételt egyszerűség kedvéért elhagytuk. Ez a feladat numerikusan mindig megoldható, tetszőleges eloszlású, vagy empirikusan megfigyelt hozamokra. Mi analitikus eredményeket akarunk kapni.

21 A kovariancia mátrix rangja Amíg N < T, a kovariancia mátrix rangja egy valószínűséggel N. Amikor N > T, 1, 2, zérus sajátérték jelenik meg. A kockázat minimalizálása a σ ii,jj invertálását követeli meg. Egy szinguláris mátrix azonban nem invertálható nullával nem lehet osztani. A programkönyvtárakból letölthető szolvereknek az a baja, hogy úgy tesznek, mintha tudnának nullával osztani.

22 Variancia optimalizálása a no-short kényszer nélkül Optimális in-sample variancia: σ pp 2 = (1-r) Becslési hiba: qq 0 = Súlyok eloszlása: 1 1 rr - divergál! NN 1 NN jj σ jj 2 ahol és

23 Az instabilitás geometriai értelme rr cc = 1 fölött a célfüggvény bizonyos irányokban ellaposodik (megszűnik a görbülete). Tetszőleges nagy, kompenzáló pozitív és negatív pozíciók lépnek fel az optimalizáció értelmetlenné válik. Ennek az instabilitásnak semmi köze a hozamok Gauss-eloszlásához, ez tisztán geometriai jelenség (vagy ha úgy tetszik lineáris algebrai: az ismeretlenek száma meghaladja az egyenletekét), a kritikus pont és a különböző mennyiségek kitevői univerzálisak.

24 Legyünk óvatosak az okos szoftverekkel!

25 Rejtett regularizátorok (Lewis Meaddel végzett vizsgálat)

26 Mennyire ismert ez a probléma? Némelyik programban van figyelmeztetés, másutt nincs, csak egy exit flag. Tapasztalataim szerint az egyetemi hallgatók soha nem ellenőrzik a programkönyvtárakból letöltött kódok részleteit, nem is úgy tanítják őket. És a kutatóorvosok? Pszichológusok? Ökonométerek? Kis csoporton végzett felmérésem szerint a kockázatkezelők és alapkezelők sokszor fekete dobozokkal dolgoznak.

27 Optimalizálás a rövid pozíciók tilalma mellett Az optimumot a szimplexen keressük: ii ww ii = NN, ww ii 0. A kényszer megnöveli a stabilitás tartományát. Új kritikus pont: rr cc =2. A becslési hiba véges marad! (Nagy longitudinális ingadozások nem léphetnek fel) De: a transzverzális ingadozások továbbra is divergálnak! Az l 1 hatásaként a súlyok egy része (határesetben a fele) nullává válik, felépül egy kondenzátum.

28 Eredmények a no-short kényszer mellett Optimális in-sample variancia: qq 0 (1+ΔΔ) 2 Becslési hiba: qq 0 véges marad (π hez tart, ha r 2) Az új kritikus paraméter divergál: A súlyok eloszlása: qq 0 (1+ΔΔ),,

29

30 További eredmények a no-short problémára A nagy volatilitású eszközök eliminálódnak először Közel eső súlyok csak kis r mellett bonthatók fel. A variancia eltűnik, konstans célfüggvény : σ 2 pp 0 Véges, negatív no-short korlát mellett az rr cc csökken. A nulla varianciájú megoldások valószínűsége: Az rr cc =2 fázisátmenet is univerzális Ezt az instabilitást könnyű elnézni!

31 A variancia + l 1 probléma összefoglalva A no-short feltétel kitágítja a stabilitás tartományát Az rr cc = 1, ill. 2 átmenetek univerzálisak, de a sztandard szoftverek hajlamosak elnyomni őket, és a súlyokat egyenletesen szétosztani a nulla módusok között. Tisztában kell lenni a beépített regularizátorokkal, és anticipálni kell az instabilitást, hogy észrevegyük. Bias-variance trade-off nem nagyon hatékony itt, a súlyok felbontása csak T >> N mellett lehetséges, egyébként egy véletlen minta, vagy előítélet alapján hozunk döntést.

32 KÖSZÖNÖM A FIGYELMET

33 Some references I. Kondor, Sz. Pafka, G. Nagy: Noise sensitivity of portfolio selection under various risk measures, Journal of Banking and Finance, 31, (2007). S. Ciliberti, I. Kondor, M. Mezard: On the Feasibility of Portfolio Optimization under Expected Shortfall, Quantitative Finance, 7, (2007) I. Varga-Haszonits and I. Kondor: The instability of downside risk measures, J. Stat. Mech. P12007 doi: / /2008/12/P12007 (2008) S. Still and I. Kondor: Regularizing portfolio optimization, New Journal of Physics, 12, Doi: / /12/7/ (2010). F. Caccioli, S. Still, M. Marsili and I. Kondor: Optimal Liquidation Strategies Regularize Portfolio Selection, European Journal of Finance, 19, (2013), Doi: / X , [q-fin.pm] (2010).

34 F. Caccioli, I. Kondor, M. Marsili and S. Still: Liquidity risk and instabilities in portfolio optimization, International Journal of Theoretical and Applied Finance, 19/5 (2016), posted online on July 29, 2016; (DOI: /S ), pp (2016). F. Caccioli, I. Kondor and G. Papp: Portfolio optimization under Expected Shortfall: Contour maps of estimation error, to appear in Quant. Finance, available at (2015). F. Caccioli, G. Papp and I. Kondor: Fluctuation-bias trade-off in portfolio optimization under Expected Shortfall with l_2 regularization, [q-fin.pm] (2016) I. Kondor, G. Papp and F. Caccioli: Analytic solution to variance optimization with no short-selling, to appear in JSTAT, I. Kondor, G. Papp and F. Caccioli: Analytic approach to variance optimization under an l 1 constraint, arxiv: v1 [q-fin.pm]