Ökonometria. Logisztikus regresszió. Ferenci Tamás 1 Nyolcadik fejezet. Budapesti Corvinus Egyetem. 1 Statisztika Tanszék

Átírás

1 Ferenci Tamás 1 tamas.ferenci@medstat.hu 1 Statisztika Tanszék Budapesti Corvinus Egyetem Nyolcadik fejezet

2 Tartalom V. esettanulmány 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

3 Tartalom V. esettanulmány Csődelőrejelzés 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

4 Tartalom V. esettanulmány Csődelőrejelzés 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

5 Csődmodellezési adatbázis Csődelőrejelzés Mérlegadataikkal adott cégek alkotják a mintánkat feladat megmondani, hogy melyik fog valamilyen vizsgált időhorizonton belül csődbe menni

6 Csődelőrejelzés Csődmodellezési adatbázis Mérlegadataikkal adott cégek alkotják a mintánkat feladat megmondani, hogy melyik fog valamilyen vizsgált időhorizonton belül csődbe menni A demonstráció kedvéért egyszerűsítünk: a mérlegadat csak két (fiktív) változót jelent: nyereség és adósság

7 Csődelőrejelzés Csődmodellezési adatbázis Mérlegadataikkal adott cégek alkotják a mintánkat feladat megmondani, hogy melyik fog valamilyen vizsgált időhorizonton belül csődbe menni A demonstráció kedvéért egyszerűsítünk: a mérlegadat csak két (fiktív) változót jelent: nyereség és adósság Mindkettő kis egész szám, jelzi a megfelelő (nyilván fiktív) jellemzőt

8 Csődelőrejelzés Csődmodellezési adatbázis Mérlegadataikkal adott cégek alkotják a mintánkat feladat megmondani, hogy melyik fog valamilyen vizsgált időhorizonton belül csődbe menni A demonstráció kedvéért egyszerűsítünk: a mérlegadat csak két (fiktív) változót jelent: nyereség és adósság Mindkettő kis egész szám, jelzi a megfelelő (nyilván fiktív) jellemzőt Eredményváltozó: csődbe ment-e a cég ténylegesen (ugye a mintában lévő megfigyelési egységekre ismerjük az eredményváltozó tényleges értékét ez itt múltbeli)

9 Csődelőrejelzés Csődmodellezési adatbázis Mérlegadataikkal adott cégek alkotják a mintánkat feladat megmondani, hogy melyik fog valamilyen vizsgált időhorizonton belül csődbe menni A demonstráció kedvéért egyszerűsítünk: a mérlegadat csak két (fiktív) változót jelent: nyereség és adósság Mindkettő kis egész szám, jelzi a megfelelő (nyilván fiktív) jellemzőt Eredményváltozó: csődbe ment-e a cég ténylegesen (ugye a mintában lévő megfigyelési egységekre ismerjük az eredményváltozó tényleges értékét ez itt múltbeli) Súlyozott adatbázis, n = 50 összesen

10 Csődelőrejelzés Csődmodellezési adatbázis Mérlegadataikkal adott cégek alkotják a mintánkat feladat megmondani, hogy melyik fog valamilyen vizsgált időhorizonton belül csődbe menni A demonstráció kedvéért egyszerűsítünk: a mérlegadat csak két (fiktív) változót jelent: nyereség és adósság Mindkettő kis egész szám, jelzi a megfelelő (nyilván fiktív) jellemzőt Eredményváltozó: csődbe ment-e a cég ténylegesen (ugye a mintában lévő megfigyelési egységekre ismerjük az eredményváltozó tényleges értékét ez itt múltbeli) Súlyozott adatbázis, n = 50 összesen (A gyakorlaton valós mérlegadatokkal fogunk dolgozni, ez most szemléltető)

11 Az adatbázis madártávlatból Csődelőrejelzés

12 Tartalom V. esettanulmány Általános gondolatok Az osztályozási feladat 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

13 Tartalom V. esettanulmány Általános gondolatok Az osztályozási feladat 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

14 Általános gondolatok Az osztályozási feladat Kvalitatív változó eredményváltozó pozíciójában Itt a feladat tehát egy csődbe megy-e vagy sem jellegű változó modellezése

15 Általános gondolatok Az osztályozási feladat Kvalitatív változó eredményváltozó pozíciójában Itt a feladat tehát egy csődbe megy-e vagy sem jellegű változó modellezése Ez bináris változó mint az eddig tárgyalt dummy változók, csak ezúttal eredményváltozóként

16 Általános gondolatok Az osztályozási feladat Kvalitatív változó eredményváltozó pozíciójában Itt a feladat tehát egy csődbe megy-e vagy sem jellegű változó modellezése Ez bináris változó mint az eddig tárgyalt dummy változók, csak ezúttal eredményváltozóként Jelent ez módosulást? (Hiszen például magyarázó változóként mindegy volt, hogy egy változó bináris, az OLS-t nem zavarta, hogy történetesen csak 0 és 1 értékeket vesz csak fel)

17 Általános gondolatok Az osztályozási feladat Kvalitatív változó eredményváltozó pozíciójában Itt a feladat tehát egy csődbe megy-e vagy sem jellegű változó modellezése Ez bináris változó mint az eddig tárgyalt dummy változók, csak ezúttal eredményváltozóként Jelent ez módosulást? (Hiszen például magyarázó változóként mindegy volt, hogy egy változó bináris, az OLS-t nem zavarta, hogy történetesen csak 0 és 1 értékeket vesz csak fel) Most drasztikusan más a helyzet: Y nem modellezhető OLS-sel

18 OLS és a bináris eredményváltozó Általános gondolatok Az osztályozási feladat Matematikai részletekbe nem megyünk bele

19 Általános gondolatok Az osztályozási feladat OLS és a bináris eredményváltozó Matematikai részletekbe nem megyünk bele Intuitíve: gondoljatok arra, hogy az OLS elvileg bármilyen értéket becsülhet és között egy ilyen hogyan lenne értelmezhető egy csődbe megy-e vagy sem kérdés válaszaként?!

20 Általános gondolatok Az osztályozási feladat OLS és a bináris eredményváltozó Matematikai részletekbe nem megyünk bele Intuitíve: gondoljatok arra, hogy az OLS elvileg bármilyen értéket becsülhet és között egy ilyen hogyan lenne értelmezhető egy csődbe megy-e vagy sem kérdés válaszaként?! De: mégis lineáris struktúrában fogjuk megoldani a problémát... csak trükkösebben alkalmazzuk: bináris Y helyett egy transzformált változóra

21 A mostani feladat általánosabban Általános gondolatok Az osztályozási feladat Tegyük fel, hogy elkészült a bináris Y -ra adott modellünk, és azt előrejelzésre használjuk

22 Általános gondolatok Az osztályozási feladat A mostani feladat általánosabban Tegyük fel, hogy elkészült a bináris Y -ra adott modellünk, és azt előrejelzésre használjuk Vegyük észre, hogy az Y szerinti érték egyfajta csoporttagságot jelent: becsődölő, működő

23 Általános gondolatok Az osztályozási feladat A mostani feladat általánosabban Tegyük fel, hogy elkészült a bináris Y -ra adott modellünk, és azt előrejelzésre használjuk Vegyük észre, hogy az Y szerinti érték egyfajta csoporttagságot jelent: becsődölő, működő Az előrejelzés ebben a kontextusban lényegében besorolás egy csoportba!

24 Általános gondolatok Az osztályozási feladat A mostani feladat általánosabban Tegyük fel, hogy elkészült a bináris Y -ra adott modellünk, és azt előrejelzésre használjuk Vegyük észre, hogy az Y szerinti érték egyfajta csoporttagságot jelent: becsődölő, működő Az előrejelzés ebben a kontextusban lényegében besorolás egy csoportba! Tehát mégegyszer: a megfigyelési egység két csoport valamelyikébe tartozik, mi a csoporttagságával összefüggő adatok alapján tippeljük meg a csoporttagságot

25 Általános gondolatok Az osztályozási feladat A mostani feladat általánosabban Tegyük fel, hogy elkészült a bináris Y -ra adott modellünk, és azt előrejelzésre használjuk Vegyük észre, hogy az Y szerinti érték egyfajta csoporttagságot jelent: becsődölő, működő Az előrejelzés ebben a kontextusban lényegében besorolás egy csoportba! Tehát mégegyszer: a megfigyelési egység két csoport valamelyikébe tartozik, mi a csoporttagságával összefüggő adatok alapján tippeljük meg a csoporttagságot Ezt a feladatot általában osztályozásnak (klasszifikáció) nevezik

26 Az osztályozási feladat Általános gondolatok Az osztályozási feladat A klasszifikáció hatalmas gyakorlati jelentőségű feladat: melyik cég megy csődbe (a mérlegadatai alapján), melyik beteg fog meghalni (a laboreredmények alapján), melyik család vállal 2-nél több gyereket (demográfiai adatok alapján), kit vesznek fel adott munkahelyre (egyéni jellemzők alapján) stb. stb.

27 Általános gondolatok Az osztályozási feladat Az osztályozási feladat A klasszifikáció hatalmas gyakorlati jelentőségű feladat: melyik cég megy csődbe (a mérlegadatai alapján), melyik beteg fog meghalni (a laboreredmények alapján), melyik család vállal 2-nél több gyereket (demográfiai adatok alapján), kit vesznek fel adott munkahelyre (egyéni jellemzők alapján) stb. stb. Ennek legelemibb eszközét fogjuk most tárgyalni

28 Általános gondolatok Az osztályozási feladat Az osztályozási feladat A klasszifikáció hatalmas gyakorlati jelentőségű feladat: melyik cég megy csődbe (a mérlegadatai alapján), melyik beteg fog meghalni (a laboreredmények alapján), melyik család vállal 2-nél több gyereket (demográfiai adatok alapján), kit vesznek fel adott munkahelyre (egyéni jellemzők alapján) stb. stb. Ennek legelemibb eszközét fogjuk most tárgyalni Ezen kívül könyvtárnyi további módszer van, melyek a gépi tanulás, még általánosabban a mesterséges intelligencia területéhez tartoznak (az adatbányászat is gyakran vizsgál ilyen problémákat)

29 Tartalom V. esettanulmány becslése és jellemzése 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

30 Tartalom V. esettanulmány becslése és jellemzése 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

31 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra

32 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra Az egységes terminológia kedvéért az Y = 1 kimenetetet siker -nek, az Y = 0-t kudarc -nak nevezzük

33 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra Az egységes terminológia kedvéért az Y = 1 kimenetetet siker -nek, az Y = 0-t kudarc -nak nevezzük Először is: nem a siker Y tényét, hanem annak P X feltételes valószínűségét fogjuk modellezni

34 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra Az egységes terminológia kedvéért az Y = 1 kimenetetet siker -nek, az Y = 0-t kudarc -nak nevezzük Először is: nem a siker Y tényét, hanem annak P X feltételes valószínűségét fogjuk modellezni

35 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra Az egységes terminológia kedvéért az Y = 1 kimenetetet siker -nek, az Y = 0-t kudarc -nak nevezzük Először is: nem a siker Y tényét, hanem annak P X feltételes valószínűségét fogjuk modellezni Az alsó index értelme: a siker valószínűsége, feltéve, hogy a magyarázó változók X értékűek

36 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra Az egységes terminológia kedvéért az Y = 1 kimenetetet siker -nek, az Y = 0-t kudarc -nak nevezzük Először is: nem a siker Y tényét, hanem annak P X feltételes valószínűségét fogjuk modellezni Az alsó index értelme: a siker valószínűsége, feltéve, hogy a magyarázó változók X értékűek (Most inkább csak jelölési egyszerűsítésként egy magyarázó változót feltételezünk, többre teljesen hasonlóan minta X vektor lenne)

37 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra Az egységes terminológia kedvéért az Y = 1 kimenetetet siker -nek, az Y = 0-t kudarc -nak nevezzük Először is: nem a siker Y tényét, hanem annak P X feltételes valószínűségét fogjuk modellezni Az alsó index értelme: a siker valószínűsége, feltéve, hogy a magyarázó változók X értékűek (Most inkább csak jelölési egyszerűsítésként egy magyarázó változót feltételezünk, többre teljesen hasonlóan minta X vektor lenne) Azaz precízen: P X = P ( Y = 1 X )

38 A feladat átalakítása becslése és jellemzése Hogy a kérdést a magyarázó változók lineáris kombinációjával tudjuk kezelni, áttérünk más változóra Az egységes terminológia kedvéért az Y = 1 kimenetetet siker -nek, az Y = 0-t kudarc -nak nevezzük Először is: nem a siker Y tényét, hanem annak P X feltételes valószínűségét fogjuk modellezni Az alsó index értelme: a siker valószínűsége, feltéve, hogy a magyarázó változók X értékűek (Most inkább csak jelölési egyszerűsítésként egy magyarázó változót feltételezünk, többre teljesen hasonlóan minta X vektor lenne) Azaz precízen: P X = P ( Y = 1 X ) Ezzel a {0, 1} változó helyett egy [0, 1]-on lévőt kell modellezni

39 A feladat további átalakítása becslése és jellemzése Ez persze még mindig kevés, ezért újabb transzformációt alkalmazunk

40 A feladat további átalakítása becslése és jellemzése Ez persze még mindig kevés, ezért újabb transzformációt alkalmazunk Odds (esélyhányados): a siker valószínűsége a kudarc valószínűségéhez viszonyítva

41 A feladat további átalakítása becslése és jellemzése Ez persze még mindig kevés, ezért újabb transzformációt alkalmazunk Odds (esélyhányados): a siker valószínűsége a kudarc valószínűségéhez viszonyítva A kudarc feltételes valószínűségét jelöljük Q X = 1 P X -szel

42 A feladat további átalakítása becslése és jellemzése Ez persze még mindig kevés, ezért újabb transzformációt alkalmazunk Odds (esélyhányados): a siker valószínűsége a kudarc valószínűségéhez viszonyítva A kudarc feltételes valószínűségét jelöljük Q X = 1 P X -szel Ekkor odds X = P X Q X = P X 1 P X

43 A feladat további átalakítása becslése és jellemzése Ez persze még mindig kevés, ezért újabb transzformációt alkalmazunk Odds (esélyhányados): a siker valószínűsége a kudarc valószínűségéhez viszonyítva A kudarc feltételes valószínűségét jelöljük Q X = 1 P X -szel Ekkor odds X = P X Q X = És fordítva (megoldva ezt P X -re): P X 1 P X P X = odds X 1 + odds X

44 És még egy átalakítás becslése és jellemzése Az odds már a [0, ) intervallumon van

45 És még egy átalakítás becslése és jellemzése Az odds már a [0, ) intervallumon van Majdnem jó, egy utolsó trükk: bevezetjük a logit fogalmát, mint log-odds: logit X = ln odds X

46 És még egy átalakítás becslése és jellemzése Az odds már a [0, ) intervallumon van Majdnem jó, egy utolsó trükk: bevezetjük a logit fogalmát, mint log-odds: logit X = ln odds X És ez már a (, )-n van (és szimmetrikusabbá is tettük a siker és kudarc eloszlását rajta)!

47 És még egy átalakítás becslése és jellemzése Az odds már a [0, ) intervallumon van Majdnem jó, egy utolsó trükk: bevezetjük a logit fogalmát, mint log-odds: logit X = ln odds X És ez már a (, )-n van (és szimmetrikusabbá is tettük a siker és kudarc eloszlását rajta)! Na, ezt fogjuk lineáris struktúrával modellezni! logit X = α + βx

48 És még egy átalakítás becslése és jellemzése Az odds már a [0, ) intervallumon van Majdnem jó, egy utolsó trükk: bevezetjük a logit fogalmát, mint log-odds: logit X = ln odds X És ez már a (, )-n van (és szimmetrikusabbá is tettük a siker és kudarc eloszlását rajta)! Na, ezt fogjuk lineáris struktúrával modellezni! logit X = α + βx A módszer neve: logit regresszió, vagy logisztikus regresszió

49 A logisztikus regresszió visszafejtése becslése és jellemzése Játszuk el mindezt visszafelé, feltéve, hogy α és β már ismert: logit X = α + βx odds X = e α+βx P X = eα+βx 1 + e α+βx

50 A logisztikus regresszió visszafejtése becslése és jellemzése Játszuk el mindezt visszafelé, feltéve, hogy α és β már ismert: logit X = α + βx odds X = e α+βx P X = eα+βx 1 + e α+βx... tehát α és β ismeretében egyszerű algebrai műveletekkel kapjuk a siker valószínűségeit

51 A logisztikus regresszió visszafejtése becslése és jellemzése Játszuk el mindezt visszafelé, feltéve, hogy α és β már ismert: logit X = α + βx odds X = e α+βx P X = eα+βx 1 + e α+βx... tehát α és β ismeretében egyszerű algebrai műveletekkel kapjuk a siker valószínűségeit És az utolsó lépés: hogy becsüljük α-t és β-t (ill. általában β-kat)?

52 A logisztikus regresszió visszafejtése becslése és jellemzése Játszuk el mindezt visszafelé, feltéve, hogy α és β már ismert: logit X = α + βx odds X = e α+βx P X = eα+βx 1 + e α+βx... tehát α és β ismeretében egyszerű algebrai műveletekkel kapjuk a siker valószínűségeit És az utolsó lépés: hogy becsüljük α-t és β-t (ill. általában β-kat)? Sajnos az OLS ahogy már mondtuk nem jó, új módszer kell: maximum likelihood (ML) becslés

53 Tartalom V. esettanulmány becslése és jellemzése 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

54 Pár szó általában az ről becslése és jellemzése Legegyszerűbb eset: egyetlen sokasági paraméter becslése mintából (pl. sokasági várhatóérték)

55 Pár szó általában az ről becslése és jellemzése Legegyszerűbb eset: egyetlen sokasági paraméter becslése mintából (pl. sokasági várhatóérték) Alapötlet: ha tudnánk, hogy mennyi a sokasági paraméter értéke, meg tudnánk mondani minden egyes mintára, hogy mekkora valószínűséggel kapjuk épp azt a mintát véletlen mintavétel eredményeképp

56 Pár szó általában az ről becslése és jellemzése Legegyszerűbb eset: egyetlen sokasági paraméter becslése mintából (pl. sokasági várhatóérték) Alapötlet: ha tudnánk, hogy mennyi a sokasági paraméter értéke, meg tudnánk mondani minden egyes mintára, hogy mekkora valószínűséggel kapjuk épp azt a mintát véletlen mintavétel eredményeképp Mit jelent az, hogy mekkora valószínűséggel kapjuk a mintát? legegyszerűbb függetlenség feltételezésével: ekkor a konkrét (kezünkben lévő) minta megkapásának valószínűsége az egyes mintaelemek megkapásának valószínűségeinek szorzata

57 Pár szó általában az ről becslése és jellemzése Legegyszerűbb eset: egyetlen sokasági paraméter becslése mintából (pl. sokasági várhatóérték) Alapötlet: ha tudnánk, hogy mennyi a sokasági paraméter értéke, meg tudnánk mondani minden egyes mintára, hogy mekkora valószínűséggel kapjuk épp azt a mintát véletlen mintavétel eredményeképp Mit jelent az, hogy mekkora valószínűséggel kapjuk a mintát? legegyszerűbb függetlenség feltételezésével: ekkor a konkrét (kezünkben lévő) minta megkapásának valószínűsége az egyes mintaelemek megkapásának valószínűségeinek szorzata Például, ha 3 elemű x mintát veszünk, melyek elemei 0,5, 2, 0,2, akkor P (X = x) = P (X 1 = 0,5) P (X 2 = 2) P (X 3 = 0,2)

58 Pár szó általában az ről becslése és jellemzése Ennyi pontosítás után rendben vagyunk, gondolhatnánk, hiszen ha ismernénk a sokasági paraméter értékét (az egyetlen dolgot, ami ismeretlen volt!), akkor azt valóban meg tudnánk mondani, hogy mekkora valószínűséggel kapunk egy adott elemet

59 Pár szó általában az ről becslése és jellemzése Ennyi pontosítás után rendben vagyunk, gondolhatnánk, hiszen ha ismernénk a sokasági paraméter értékét (az egyetlen dolgot, ami ismeretlen volt!), akkor azt valóban meg tudnánk mondani, hogy mekkora valószínűséggel kapunk egy adott elemet De valójában a kérdés így pontatlan: folytonos sokaság esetén minden mintaelem valószínűsége nulla (P (X = x) = 0, pl. P (X 1 = 0,5) = 0 a pdf folytonossági pontjában!)

60 Pár szó általában az ről becslése és jellemzése Ennyi pontosítás után rendben vagyunk, gondolhatnánk, hiszen ha ismernénk a sokasági paraméter értékét (az egyetlen dolgot, ami ismeretlen volt!), akkor azt valóban meg tudnánk mondani, hogy mekkora valószínűséggel kapunk egy adott elemet De valójában a kérdés így pontatlan: folytonos sokaság esetén minden mintaelem valószínűsége nulla (P (X = x) = 0, pl. P (X 1 = 0,5) = 0 a pdf folytonossági pontjában!) Ötlet: ne is törődjünk ezzel az apró bökkenővel, használjuk akkor is a sűrűségfüggvény helyettesítési értékét a valószínűség gyanánt (intuitív indoklás: a pont, pl. itt a 0,5 kis környezetébe esés valószínűsége arányos ezzel az értékkel)

61 Pár szó általában az ről becslése és jellemzése Ennyi pontosítás után rendben vagyunk, gondolhatnánk, hiszen ha ismernénk a sokasági paraméter értékét (az egyetlen dolgot, ami ismeretlen volt!), akkor azt valóban meg tudnánk mondani, hogy mekkora valószínűséggel kapunk egy adott elemet De valójában a kérdés így pontatlan: folytonos sokaság esetén minden mintaelem valószínűsége nulla (P (X = x) = 0, pl. P (X 1 = 0,5) = 0 a pdf folytonossági pontjában!) Ötlet: ne is törődjünk ezzel az apró bökkenővel, használjuk akkor is a sűrűségfüggvény helyettesítési értékét a valószínűség gyanánt (intuitív indoklás: a pont, pl. itt a 0,5 kis környezetébe esés valószínűsége arányos ezzel az értékkel) Itt már a valószínűséget idézőjelbe kellett tennünk (a pdf helyettesítési értéke nem valószínűség, pl. simán lehet 1-nél nagyobb is!), ezért inkább új szót használunk rá: likelihood

62 A likelihoodról V. esettanulmány becslése és jellemzése Nézzünk erre egy példát: 3 elemű minta standard normális eloszlásból; mekkora a valószínűsége, hogy a 3 elem 0,5, 2, 0,2?

63 A likelihoodról V. esettanulmány becslése és jellemzése Nézzünk erre egy példát: 3 elemű minta standard normális eloszlásból; mekkora a valószínűsége, hogy a 3 elem 0,5, 2, 0,2? Nulla! (Ugyebár... )

64 A likelihoodról V. esettanulmány becslése és jellemzése Nézzünk erre egy példát: 3 elemű minta standard normális eloszlásból; mekkora a valószínűsége, hogy a 3 elem 0,5, 2, 0,2? Nulla! (Ugyebár... ) És a likelihoodja? L (x) = f X (0,5) f X (2) f X ( 0,2), ahol X N (0, 1) és ezért f X (x) = φ 0,1 (x), ahol φ a normális eloszlás pdf-e

65 A likelihoodról V. esettanulmány becslése és jellemzése Nézzünk erre egy példát: 3 elemű minta standard normális eloszlásból; mekkora a valószínűsége, hogy a 3 elem 0,5, 2, 0,2? Nulla! (Ugyebár... ) És a likelihoodja? L (x) = f X (0,5) f X (2) f X ( 0,2), ahol X N (0, 1) és ezért f X (x) = φ 0,1 (x), ahol φ a normális eloszlás pdf-e Figyelem, ez a szorzat felírás (általában: L (x) = n i=1 f X (x i )) csak fae esetre működik, nyilván

66 A likelihoodról V. esettanulmány becslése és jellemzése Nézzünk erre egy példát: 3 elemű minta standard normális eloszlásból; mekkora a valószínűsége, hogy a 3 elem 0,5, 2, 0,2? Nulla! (Ugyebár... ) És a likelihoodja? L (x) = f X (0,5) f X (2) f X ( 0,2), ahol X N (0, 1) és ezért f X (x) = φ 0,1 (x), ahol φ a normális eloszlás pdf-e Figyelem, ez a szorzat felírás (általában: L (x) = n i=1 f X (x i )) csak fae esetre működik, nyilván Világos, hogy a 3, 2,8, 3,5 mintának sokkal kisebb a likelihood-ja

67 A likelihoodról V. esettanulmány becslése és jellemzése Nézzünk erre egy példát: 3 elemű minta standard normális eloszlásból; mekkora a valószínűsége, hogy a 3 elem 0,5, 2, 0,2? Nulla! (Ugyebár... ) És a likelihoodja? L (x) = f X (0,5) f X (2) f X ( 0,2), ahol X N (0, 1) és ezért f X (x) = φ 0,1 (x), ahol φ a normális eloszlás pdf-e Figyelem, ez a szorzat felírás (általában: L (x) = n i=1 f X (x i )) csak fae esetre működik, nyilván Világos, hogy a 3, 2,8, 3,5 mintának sokkal kisebb a likelihood-ja N (3, 1) sokasági eloszlást feltételezve (tehát ha f X (x) = φ 3,1 (x)) akkor persze épp fordítva

68 Az V. esettanulmány becslése és jellemzése És most fordítsuk meg a logikát: csak a mintát ismerjük, de a sokasági paramétert nem

69 Az V. esettanulmány becslése és jellemzése És most fordítsuk meg a logikát: csak a mintát ismerjük, de a sokasági paramétert nem Minden sokasági paraméterhez meg tudjuk mondani, hogy fennállása esetén mekkora likelihood-ú, hogy épp azt az adott mintát kapjuk

70 Az V. esettanulmány becslése és jellemzése És most fordítsuk meg a logikát: csak a mintát ismerjük, de a sokasági paramétert nem Minden sokasági paraméterhez meg tudjuk mondani, hogy fennállása esetén mekkora likelihood-ú, hogy épp azt az adott mintát kapjuk Ha tippelnünk kellene, akkor tippeljük azt, hogy az a sokasági paraméter áll fenn, ami mellett ez a likelihood a maximális! (Totálisan egybevág a józan paraszti ésszel.)

71 Az V. esettanulmány becslése és jellemzése És most fordítsuk meg a logikát: csak a mintát ismerjük, de a sokasági paramétert nem Minden sokasági paraméterhez meg tudjuk mondani, hogy fennállása esetén mekkora likelihood-ú, hogy épp azt az adott mintát kapjuk Ha tippelnünk kellene, akkor tippeljük azt, hogy az a sokasági paraméter áll fenn, ami mellett ez a likelihood a maximális! (Totálisan egybevág a józan paraszti ésszel.) Ennyi, ez a maximum likelihood (ML) becslés!

72 Tartalom V. esettanulmány becslése és jellemzése 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

73 LR modell becslése V. esettanulmány becslése és jellemzése Minden α, β-hoz meghatározható a minta (itt: adatbázisunk) likelihood-ja (precízen: adott α, β mellett mekkora likelihood-dal jött volna ki a mintánk)

74 LR modell becslése V. esettanulmány becslése és jellemzése Minden α, β-hoz meghatározható a minta (itt: adatbázisunk) likelihood-ja (precízen: adott α, β mellett mekkora likelihood-dal jött volna ki a mintánk) Ezt fogjuk α, β-ban maximalizálni

75 LR modell becslése V. esettanulmány becslése és jellemzése Minden α, β-hoz meghatározható a minta (itt: adatbázisunk) likelihood-ja (precízen: adott α, β mellett mekkora likelihood-dal jött volna ki a mintánk) Ezt fogjuk α, β-ban maximalizálni Kérdés: hogyan kapjuk a minta likelihood-ját?

76 LR modell becslése V. esettanulmány becslése és jellemzése Minden α, β-hoz meghatározható a minta (itt: adatbázisunk) likelihood-ja (precízen: adott α, β mellett mekkora likelihood-dal jött volna ki a mintánk) Ezt fogjuk α, β-ban maximalizálni Kérdés: hogyan kapjuk a minta likelihood-ját? Annyira nem nehéz, hiszen egy mintaelemre a kijövetelének valószínűsége P X (ha az eredményváltozója 1), Q X (ha eredményváltozója 0), mely P X és Q X értékek kiszámíthatóak α, β-hoz (már láttuk)

77 LR modell becslése V. esettanulmány becslése és jellemzése Minden α, β-hoz meghatározható a minta (itt: adatbázisunk) likelihood-ja (precízen: adott α, β mellett mekkora likelihood-dal jött volna ki a mintánk) Ezt fogjuk α, β-ban maximalizálni Kérdés: hogyan kapjuk a minta likelihood-ját? Annyira nem nehéz, hiszen egy mintaelemre a kijövetelének valószínűsége P X (ha az eredményváltozója 1), Q X (ha eredményváltozója 0), mely P X és Q X értékek kiszámíthatóak α, β-hoz (már láttuk) Már csak az egész mintára (nem egyes mintaelemekre) kell kiszámítani, itt függetlenség feltételezésével élünk

78 Az egész minta likelihoodja becslése és jellemzése

79 A becslési feladat V. esettanulmány becslése és jellemzése Az egész minta likelihood-ja tehát: L (α, β) = P X,i Q X,i Y i =1 Y i =0

80 A becslési feladat V. esettanulmány becslése és jellemzése Az egész minta likelihood-ja tehát: L (α, β) = Ezzel a megoldandó feladat: P X,i Q X,i Y i =1 Y i =0 max L (α, β) α,β

81 A becslési feladat V. esettanulmány becslése és jellemzése Az egész minta likelihood-ja tehát: L (α, β) = Ezzel a megoldandó feladat: P X,i Q X,i Y i =1 Y i =0 max L (α, β) α,β E helyett a gyakorlatban inkább a vele ekvivalens min 2 ln L (α, β) α,β feladatot oldjuk meg (nem csak numerikus okokból)

82 A becslési feladat V. esettanulmány becslése és jellemzése Az egész minta likelihood-ja tehát: L (α, β) = Ezzel a megoldandó feladat: P X,i Q X,i Y i =1 Y i =0 max L (α, β) α,β E helyett a gyakorlatban inkább a vele ekvivalens min 2 ln L (α, β) α,β feladatot oldjuk meg (nem csak numerikus okokból) Ennek megoldása szolgáltatja a LR modell paramétereinek becslését

83 Elemzés V. esettanulmány becslése és jellemzése Értelmezzük az együtthatókat: odds X+1 odds X = eα+β(x+1) e α+βx = eα+βx+β e α+βx = eα+βx e β e α+βx = eβ

84 Elemzés V. esettanulmány becslése és jellemzése Értelmezzük az együtthatókat: odds X+1 odds X = eα+β(x+1) e α+βx = eα+βx+β e α+βx = eα+βx e β e α+βx = eβ Ezért az e β -kat is meg szokták adni a programok ( exp. coeff )

85 Elemzés V. esettanulmány becslése és jellemzése Értelmezzük az együtthatókat: odds X+1 odds X = eα+β(x+1) e α+βx = eα+βx+β e α+βx = eα+βx e β e α+βx = eβ Ezért az e β -kat is meg szokták adni a programok ( exp. coeff ) Marginális hatás: dp X dx j = βp X Q X

86 Előrejelzés V. esettanulmány becslése és jellemzése Még egy megfontolást kell tenni: csak csődvalószínűséget kaptunk... de az előrejelzésben konkrét kimenet kell! Mikor soroljuk becsődölőbe? Ha ez a valószínűség 0,5-nél nagyobb? 0,1-nél? 0,99-nél...?

87 Előrejelzés V. esettanulmány becslése és jellemzése Még egy megfontolást kell tenni: csak csődvalószínűséget kaptunk... de az előrejelzésben konkrét kimenet kell! Mikor soroljuk becsődölőbe? Ha ez a valószínűség 0,5-nél nagyobb? 0,1-nél? 0,99-nél...? Jelölje ezt a határt C (cut-off point, cut value): Ŷ = 1 : P X > C

88 Előrejelzés V. esettanulmány becslése és jellemzése Még egy megfontolást kell tenni: csak csődvalószínűséget kaptunk... de az előrejelzésben konkrét kimenet kell! Mikor soroljuk becsődölőbe? Ha ez a valószínűség 0,5-nél nagyobb? 0,1-nél? 0,99-nél...? Jelölje ezt a határt C (cut-off point, cut value): Ŷ = 1 : P X > C Ekkor különböző C-khez különböző konkrét klasszifikációk

89 C hatása a klasszifikációra becslése és jellemzése

90 A klasszifikáció jóságának mérése becslése és jellemzése Legalapvetőbb eszköz a klasszifikációs mátrix: Pred Y 1 0 Obs. Y

91 A klasszifikáció jóságának mérése becslése és jellemzése Legalapvetőbb eszköz a klasszifikációs mátrix: Pred Y 1 0 Obs. Y Főátlóban a helyes osztályozások, ezek aránya a helyes osztályozási ráta (itt = 0,88)

92 A klasszifikáció jóságának mérése becslése és jellemzése Legalapvetőbb eszköz a klasszifikációs mátrix: Pred Y 1 0 Obs. Y Főátlóban a helyes osztályozások, ezek aránya a helyes osztályozási ráta (itt = 0,88) Mellékátlóban: első- és másodfajú hibák (specificitás, szenzitivitás)

93 A klasszifikáció jóságának mérése becslése és jellemzése Legalapvetőbb eszköz a klasszifikációs mátrix: Pred Y 1 0 Obs. Y Főátlóban a helyes osztályozások, ezek aránya a helyes osztályozási ráta (itt = 0,88) Mellékátlóban: első- és másodfajú hibák (specificitás, szenzitivitás) Gondoljuk végig, hogyan változik ezek aránya C növelésére, ill. csökkentésére

94 becslése és jellemzése C megválasztása a klasszifikációs mátrix alapján Ha tudjuk, hogy az egyes hibák milyen költséget jelentenek, akkor analitikusan választhatunk optimális C-t

95 becslése és jellemzése C megválasztása a klasszifikációs mátrix alapján Ha tudjuk, hogy az egyes hibák milyen költséget jelentenek, akkor analitikusan választhatunk optimális C-t Veszteség-mátrix: ,2-0,2

96 becslése és jellemzése C megválasztása a klasszifikációs mátrix alapján Ha tudjuk, hogy az egyes hibák milyen költséget jelentenek, akkor analitikusan választhatunk optimális C-t Veszteség-mátrix: ,2-0,2 Ezzel az előző klasszifikációs mátrix költsége: , ( 0,2) = 5,6

97 becslése és jellemzése C megválasztása a klasszifikációs mátrix alapján Ha tudjuk, hogy az egyes hibák milyen költséget jelentenek, akkor analitikusan választhatunk optimális C-t Veszteség-mátrix: ,2-0,2 Ezzel az előző klasszifikációs mátrix költsége: , ( 0,2) = 5,6 Azt a C-t választjuk, aminél ez minimális!

98 becslése és jellemzése C megválasztása a klasszifikációs mátrix alapján Ha tudjuk, hogy az egyes hibák milyen költséget jelentenek, akkor analitikusan választhatunk optimális C-t Veszteség-mátrix: ,2-0,2 Ezzel az előző klasszifikációs mátrix költsége: , ( 0,2) = 5,6 Azt a C-t választjuk, aminél ez minimális! (Ez nem becslési feladat)

99 Tartalom V. esettanulmány becslése és jellemzése 1 V. esettanulmány Csődelőrejelzés 2 Általános gondolatok 3 becslése és jellemzése

100 Modelljellemzés pszeudo-r 2 mutatóval becslése és jellemzése Az OLS-nél látott R 2 -hez hasonló elvű ( hol járunk az úton? ) mutató szeretnénk LR-re is

101 Modelljellemzés pszeudo-r 2 mutatóval becslése és jellemzése Az OLS-nél látott R 2 -hez hasonló elvű ( hol járunk az úton? ) mutató szeretnénk LR-re is Az ESS helyett itt a 2 ln L jellemzi a modellt

102 Modelljellemzés pszeudo-r 2 mutatóval becslése és jellemzése Az OLS-nél látott R 2 -hez hasonló elvű ( hol járunk az úton? ) mutató szeretnénk LR-re is Az ESS helyett itt a 2 ln L jellemzi a modellt Mi a tökéletes modell? P X = 1 ha Y = 1 és Q X = 1 ha Y = 0 mennyi ennek a likelihoodja?

103 Modelljellemzés pszeudo-r 2 mutatóval becslése és jellemzése Az OLS-nél látott R 2 -hez hasonló elvű ( hol járunk az úton? ) mutató szeretnénk LR-re is Az ESS helyett itt a 2 ln L jellemzi a modellt Mi a tökéletes modell? P X = 1 ha Y = 1 és Q X = 1 ha Y = 0 mennyi ennek a likelihoodja? Épp 1, 2 ln L = 0

104 Modelljellemzés pszeudo-r 2 mutatóval becslése és jellemzése Az OLS-nél látott R 2 -hez hasonló elvű ( hol járunk az úton? ) mutató szeretnénk LR-re is Az ESS helyett itt a 2 ln L jellemzi a modellt Mi a tökéletes modell? P X = 1 ha Y = 1 és Q X = 1 ha Y = 0 mennyi ennek a likelihoodja? Épp 1, 2 ln L = 0 Az üres semmilyen magyarázó változót nem tartalmazó modell 2 ln L-je analitikusan meghatározható (analóg a helyzet az OLS-sel)

105 Modelljellemzés pszeudo-r 2 mutatóval becslése és jellemzése Az OLS-nél látott R 2 -hez hasonló elvű ( hol járunk az úton? ) mutató szeretnénk LR-re is Az ESS helyett itt a 2 ln L jellemzi a modellt Mi a tökéletes modell? P X = 1 ha Y = 1 és Q X = 1 ha Y = 0 mennyi ennek a likelihoodja? Épp 1, 2 ln L = 0 Az üres semmilyen magyarázó változót nem tartalmazó modell 2 ln L-je analitikusan meghatározható (analóg a helyzet az OLS-sel) Az alapján a McFadden-féle pszeudo-r 2 : R 2 = ( 2 ln L null) ( 2 ln L targy ) 2 ln L null

106 Modellszelekció V. esettanulmány becslése és jellemzése Nested modellszelekció, H 0 : β q+1 = β q+2 =... = β q+m = 0

107 Modellszelekció V. esettanulmány becslése és jellemzése Nested modellszelekció, H 0 : β q+1 = β q+2 =... = β q+m = 0 Ha nagy mintánk van, akkor rendkívül kényelmesen vizsgálható egy új próbakészítési elvvel, az ún. likelihood-hányados (LR) elven konstruált teszttel: ( 2 ln L ) H0 ( 2 ln L ) H1 χ 2 m

108 Modellszelekció V. esettanulmány becslése és jellemzése Nested modellszelekció, H 0 : β q+1 = β q+2 =... = β q+m = 0 Ha nagy mintánk van, akkor rendkívül kényelmesen vizsgálható egy új próbakészítési elvvel, az ún. likelihood-hányados (LR) elven konstruált teszttel: ( 2 ln L ) H0 ( 2 ln L ) H1 χ 2 m Üres modelltől való szignifikáns különbözés tesztelése: függetlenségvizsgálat (szeretjük a H 1 -et)

109 Modellszelekció V. esettanulmány becslése és jellemzése Nested modellszelekció, H 0 : β q+1 = β q+2 =... = β q+m = 0 Ha nagy mintánk van, akkor rendkívül kényelmesen vizsgálható egy új próbakészítési elvvel, az ún. likelihood-hányados (LR) elven konstruált teszttel: ( 2 ln L ) H0 ( 2 ln L ) H1 χ 2 m Üres modelltől való szignifikáns különbözés tesztelése: függetlenségvizsgálat (szeretjük a H 1 -et) Szaturált modelltől van szignifikáns különbözés tesztelése: illeszkedésvizsgálat (szeretjük a H 0 -t)