A diszkrét kategóriaskálán mért Y változó kimenetének az előrejelzését klasszifikációnak

Átírás

1 MÓDSZERTANI TANULMÁNYOK A CSŐDESEMÉNY LOGIT-REGRESSZIÓJÁNAK KISMINTÁS PROBLÉMÁI DR. HAJDU OTTÓ A taulmáy módszrta útmutatás arra a ksmtás str, amkor bárs kmtű változó értékék a bkövtkzés valószíűségét alacsoy lmszámú mta alapjá vagyuk kéytlk modllz, adott magyarázóváltozók értékk smrtéb. Ekkor ugyas a kovcoáls agymtás (aszmptotkusa kdvző tulajdoságú) maxmum lklhood módszr m mdg dfálható, d ha dfálható, akkor s félrvztő, torzított rdméyt produkálhat. A mtából való statsztka kövtkzttés spcáls módszrta részltt a dchotom logsztkus rgrsszó kapcsá mutatom b, d a polchotom str s ktrjszthtők. TÁRGYSZÓ: Logsztkus rgrsszó. Fltétls maxmum lklhood. Prmutácós loszlás. A dszkrét katgóraskálá mért Y változó kmték az lőrjlzését klasszfkácóak vzzük. Ek sorá magyarázóváltozók sztjk smrt x kombácója kovarása mlltt kalkuláljuk Y katgóráak a fltétls valószíűségt, és a vzsgált mgfgylés gységt a lgvalószíűbb katgórához rdljük. Például gy htlkérlm mősítés sorá, csődkockázat szmpotból kockázatoskét vagy kockázatmtskét mősíthtük gy gazdaság gységt (többk között mérlg és rdméy, tvékység kör, működés formája, stb. smrtéb) a dötés pézügy kövtkzméyvl gyütt. A logsztkus rgrsszó a klasszfkálás gyk klasszkus módszr, így alkalmazása a csődkockázat méréséb s kézfkvő. Ha az rdméy jllgű (dpdt, rspos) változó bárs, vagys két lhtségs kmt és 0, g/m, akkor dchotom (bomáls) logsztkus rgrsszóról bszélük. A függő változó loszlásáak az smrtéb a logsztkus rgrsszó paramétrk a bcslésér a maxmum lklhood (ML) módszr kíálkozk, vszot a maxmum lklhood ljárás kdvző tulajdosága (például mmum varaca, kozsztca) aszmptotkusa, agymtás stb érvéysülk. Ugyaakkor a csődhlyzt klasszfkálása a ksmtás kövtkzttés tpkus st, hsz a csődsméy rlatív rtka jlség. Kváltképp alacsoy gyakorságú bzoyos tvékység körökb, (szak)ágazatokba, thát gy szakágazat sztr lbotott csődmodll ksmtás bcslés kéyszrű adottság. Jl taulmáy alapvtő célja, hogy a csődkockázat mérés kapcsá a logsztkus rgrsszó ML bcslés problémára fölhívja a fgylmt, és fölsmrésükr, kzlésükr mgfllő módszrtat javasoljo. Statsztka Szml, 82. évfolyam, szám

2 DR. HAJDU: A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 393 A fltétl élkül maxmum lklhood ljárás alkalmazása szmpotjából alapvtő probléma a kgysúlyozatla mta st, mlyb (tktt élkül a mtaagyságra) rlatív agyo alacsoy (akár 5 százalék alatt) a csődsméyk aráya, másflől a szparált mta st, mlyb a csődsméy gyértlmű a magyarázó változó gy adott szgmséhz, a komplmtr működő sméyk pdg gy jól lhatárolt, másk szgmséhz tartozak. Míg az lőbb stb va gyd ML-mgoldás, d az torzított és magas mtavétl varacával bír, addg az utóbb stb m s létzk a MLmgoldás. A harmadk léygs problémát az okozza, mkor a pror formácók va a csődsméyk aráyáról a sokaságba (z az formácó a mztgazdaságba rdlkzésr áll) és z az aráy jltős ltér a mgfllő mtab aráytól, tovább torzítást okozva a paramétrk bcsléséb. A rtka sméy kzlését az aszmptotkus logsztkus rgrsszó mgfllő korrkcóval való alkalmazása, vagy a csőd/működés sméyk gzakt prmutácó alapuló ú. gzakt (m aszmptotkus) logsztkus rgrsszó (ELR) gyarát szolgálja. Az ELR-ljárás a rgrsszós paramétrk légségs statsztkáak az gzakt, fltétls, prmutácós loszlásá alapuló módszrtaa. Mkor az aszmptotkus ML-bcslés m létzk, az ELR-módszr haszálatával akkor s kövtkztt tuduk a rgrsszós paramétrkr. Jl taulmáy az rdméyk értlmzés végtt lőbb áttkt magát a dötés problémát, amly dötés érdkéb a dötéshozó rgrsszós mgalapozásra támaszkodk. Ezt kövtő foglalkozuk a kgysúlyozatlaság, torzítottság és a szparáltág problémával, majd az gzakt logsztkus rgrsszó módszrtaáak lmélt részltt tárgyaljuk dchotom Y sté. Ek sorá olya gyakorlat példáko kövtjük yomo a statsztka kövtkzttés (hpotézsk tsztlés, pot- és trvallumbcslés) mtét, sajátosságat, mlyk az aszmptotkus ML-módszrrl m lmzhtők. Végül éháy, a bcslésk torzítottságát kzlő algortmust ajáluk az lmzők fgylméb. Az llusztratív példák csődbmt és működő gazdaság vállalkozások klasszfkálását tárgyalják, a mdkor módszrta modavalóhoz gazodó adatállomáyok alapjá.. A DICHOTOM DÖNTÉSI MODELL Tktsük függtl, bárs Y ={,0} változók (=,2,...,) sorozatát, amly változók kmt az x, x 2,..., x p magyarázó változók sztjk valamly x k =(x k, x k2,..., x kp ) rögzíttt kombácója mlltt kövtkzk b. Az x k kombácót kovarásak vzzük, és adott kovarás mlltt több mgfgylést s végzhtük. Az Y= kmt adott tulajdoság mglétét, Y=0 pdg a háyát jlz. Estükb Y= gazdaság vállalkozások csődjét, Y=0 pdg működését jlt. Jlölj π a Pr(Y= x) sméy fltétls valószíűségét, mly a πx / ( π ) x ú. odds-aráy alapjá x ( π ) / ( ) πx / x oddsx π x = = +πx π x + oddsx. // A számítások a SAS-programmal készültk.

3 394 DR. HAJDU OTTÓ A logsztkus rgrsszó szrt az odds-aráy logartmusa (gyb a logtja) az ( ) ( ) π x valószíűség l oddsx = logt π x =β 0 +β x+β 2x βpxp /2/ lárs prdktor szrt alakul, mllyl ahol β 0+β x+β 2x βpxp π x = = = β 0+β x+β 2x βpxp βx βx (,,..., p ) β 0 = β β β βx, /3/ az smrtl rgrsszós koffcsk vktora és x 0 a tglymtszthz rdlt összgző vktor. Értlmszrű a komplmtr sméy valószíűség - - πx = = βx + + βx - βx. j A rgrsszós paramétrk értlmzését az flátor (dflátor) faktor szolgálja, mly az x j magyarázó változó gységy abszolút övkméyék az odds-aráyra gyakorolt multplkatív hatását mutatja, a több magyarázó változó szt tartása mlltt: β odds odds β j xj+ = x. /4/ j Ha a Dx j = változásak a csődvalószíűségr gyakorolt hatását mérjük, akkor lőbb flírható a βx szrt drvált ahoa βx = =π π, /5/ π x + βx ( βx) ( βx) β π x =β j π x π x x j x ( ) ( ). Az lőrjlzés érdkéb a rgrsszós paramétrkt gy y, y 2,..., y függtl, véltl mta alapjá bcsülük kll, majd a bcslésk brtokába Y lőrjlzés gy dötés krtérum alapjá törték, az alábbak szrt. A π x valószíűség magas vagy alacsoy voltáak az lhatárolásához rögzítük gy alkalmasa mgválasztott krtkus C π x

4 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 395 cut-off-valu értékt, és krtkus érték alapjá az lőrjlzés: Y ˆ = π két az lőrjlzés 0. A C π érték rögzítését a mtá vrfkált klasszfkácós mátrx és a vsztség (haszo) függvéy gyütt sgít: Loss = cd + c0d0 + c0d0 + c00d00, x C π, gyéb- ahol D és D 00 a korrkt, D 0 és D 0 az korrkt lőrjlzésk gyakorsága, c yy ˆ pdg a dötéssl járó fajlagos költség (haszo) koffcs. Poztív és c választással c 00 c0 0 vsztségt mmáluk, míg poztív c és választással haszot maxmáluk. Spcálsa, ha c = c00 = 0, és c0 = c0 =, akkor az összs korrkt klasszfkácó gyakorságát mmalzáljuk. Dötés szabálykét azt a krtkus értékt célszrű választa, amly mlltt a vsztség mmáls, vagy a haszo maxmáls. Mdazoáltal célszrű fgylmb v, hogy általába (külöös a csődsély mősítéskor) a kétfél korrkt lőrjlzés m gyforma pézügy kövtkzméyű, és adott kmt mlltt (például csődbmt a vállalkozás) a korrkt és az korrkt klasszfkácó pézügy kövtkzméy m föltétlül zérus összgűk. Ezt az aszmmtrát llusztrálja gy htlt yújtó szmpotjából az. tábla költségmátrxa gységy htl odaítélés flől törtéő dötés sorá, mközb vsztségt kívá mmalzál. Egyfél változat gységy htl yújtásáak pézügy vsztségről Téy Csőd Előrjlzés Működés Csőd 0 Működés 0 0,2. tábla A tábla azt sugallja, hogy a dötést lősgítő krtkus cut-off-valu értékt m gyakorság, ham pézügy alapo dokoltabb bhatárol. A kölcsö yújtását szgoríthatjuk (lazíthatjuk), ha a csőd/működés hbás dötés gységy vsztségét flagyítjuk (kcsyítjük) a működés/csőd hba zéró vsztségéhz képst. Hagsúlyozzuk, hogy a cut-off-valu értékék a rögzítésévl tulajdoképp a modll llszkdésék a jóságát bfolyásoljuk korrkt-klasszfkálás értlmb, amk a javítása kokrét mta sté géylht olya magyarázó változót, mlyt hpotézsvzsgálat alapjá gyébkét kzárák a modllből. 2. A LOGISZTIKUS REGRESSZIÓ KISMINTÁS KÉRDÉSEI Ksmtás stb a logsztkus rgrsszó alkalmazása számos bcslés és hpotézsvzsgálat problémát vt fl. A ksmtás probléma md a tljs mtaagyság, md az gydk rlatív számossága tkttéb értlmzhtő.

5 396 DR. HAJDU OTTÓ 2.. A rtka sméy problémája A csődvalószíűség modllzésék altratív, d a ftvl kvvals mgközlítését tsz lhtővé a logsztkus loszlás alapjá való dötés, az alábbak szrt. Tktsük az Y * folytoos, d közvtlül m mgfgylhtő (lats) csődmérték -változót, amlyk x fltétl mlltt várható érték η x. A logsztkus loszlás sűrűségfüggvéy kkor: ahol Képzv a * ( Y x ) Logstc η = + * ( Y ηx ) * ( Y ηx ) η =β +β x +β x β x 2 x p p., ( 0) ( x ) * * * x Pr Y > = 0 Logstc Y η dy = = η + x + η ηx / 6/ kumulatív valószíűségt, ha az Y * változót úgy dszkrtzáljuk, hogy az Y * >0 sméyt, a komplmtr sméyt pdg 0 dfálja, akkor /3/ és /6/ láthatóa kvvals valószíűség modllk. Ez arra hívja fl a fgylmt, hogy kgysúlyozatla mta sté, mkors az gydk rtká fordulak lő a mtába ( f/ rlatív gyakorságuk kcsy, akár ksbb mt 5 százalék), akkor a π x valószíűségk gy β % potbcslésből származó π% x potbcslés akkor s alulbcsült, ha β % gyébkét torzítatla bcslés a mgfllő rgrsszós paramétrk (Kg Zg [200a]). Ezt llusztrálja az. ábra.. ábra. A fltétls valószíűség alulbcslés Pr( Y = ) x η =β % 0 Pr( Y = β % ) Y*

6 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 397 Az ábrá a agyobb szórású logsztkus sűrűségfüggvéy a populácó loszlását írja l a lats csődmérték változó tkttéb. Így z görb alatt az Y * =0 értéktől jobbra lévő trült a Pr(Y=) sokaság valószíűségt jlt. A sokaság szórást az gylmű mta stadard hbája rprztálja. A többlmű mtavétl rdméykét yrt torzítatla β % bcslésk által grált loszlás szükségszrű alacsoyabb szórású, és zt az ábrá a csúcsosabb függvéy írja l. Az alacsoyabb szórású stb láthatóa ksbb az Y * =0 értéktől jobbra ső trült, vagys a Pr(Y= β % ) valószíűség. A π% x potbcslés thát az sméy valószíűségét alulbcsl Aszmptotkus, torzított paramétrbcslés A rgrsszós paramétrk bcslés és tsztlés md a lgksbb égyztk lvé, md a maxmum lklhood módszr alapulhat. Tktsük gy -lmű y (=,2,...,) függtl mtát, mlyb k számú mgfgylés tartozk az x k kovaráshoz, és zk között f k az tulajdoságúak gyakorsága. Az tratv újrasúlyozott lgksbb égyztk módszr a πˆ ( ) ( f ˆ ˆ ) k k k π k k k k 2 π m /7/ súlyozott égyztösszgt mmálja, ahol adott bcslés brtokába a súly újraszámításra krül új paramétrkhz vztv mdaddg, míg az rdméyk m változak jltős. Trmészts a maxmum lklhood lv alkalmazása s kézfkvő, hsz gzakt smrtük va az rdméyváltozó loszlását lltő, mly Broull-folyamatot kövt. Potbcsléskor a mta gyütts lklhoodját maxmáljuk, mlyt súlyozatla formába az alább szorzat dfál ( ) y ( ) L = Pr( Y = y, Y2 = y2,..., Y = y) = π π = π π. { y = } { y = 0} = A /2/ logt modllt bhlyttsítv, a lklhood értékét többfél formába s flírhatjuk attól függő, hogy mlyk formula haszálata gyszrűsít kább a számításokat: ( ) = p p y y βj x j j β j j y x = = 0 = 0 = j odds L = = = = + odds p p β j jxj j jx = β = j βx ( + ) = = = y βt, /8/ ahol a t = ( t0, t,..., t p ) vktor általáos lm t = y x ( j = 02,,,..., p) j j =

7 398 DR. HAJDU OTTÓ gyb a β j paramétr ú. légségs statsztkája, mly jl taulmáy közpot fogalma. 2 Mvl y érték csak vagy 0 lht, zért a t j statsztka érték az x j magyarázó változó y= stkb flvtt mtabl értékk az összg. Például β 0 légségs statsztkája t 0, mly az sméy f lőfordulás gyakorsága a mtába: Így a log-lklhood t0 = f. l L = y l ( odds) + l + odds = = p = β j yx j + l ( π) = j= 0 = = p j j j= 0 = l ( ) = β t + π. /9/ Ekkor a /9/ kfjzés alapjá képztt l L / β j = 0 maxmum-lklhood gyltrdszr flhaszálva közb a /5/ azoosságból származó π / β = x π ( π ) drváltat s a j j j = = (,,,..., ) x j j x x t = y x = π x j = 02 p /0/ módo írható fl. A /8/ maxmálás fladat umrkus mgoldása gyb a /7/ mmálás fladatét s mgadja (lásd Jrch Moor [975]). A Fshr-scorg módszrt alkalmazva, a bcsült paramétrkb törtéő llépésvktort az alább formula határozza mg: ( ) ˆ β = XWX XWz, ahol a z vktor általáos lm ( f πˆ ) / πˆ ( πˆ ) pdg k k k k k k W ( ) = π π. kk k k k, a súlymátrx általáos lm A bcsült paramétrk aszmptotkus varaca-kovaraca mátrxa kkor (az általáos lárs modll paramétrbcslésék mgfllő) a Fshr-fél formácós mátrx vrz, amly most (Garthwat Jollff Jos [995] 245. old.): C βˆ ( ) xx k k ( k) k k = k = π π = π π x x, // 2 Nm tévsztdő össz a klasszkus Studt-t statsztkával. Az légségs statsztka fogalmát lásd Huyad [200] vagy Garthwat Jollff Jos [995]. Hozzátsszük, hogy a későbbk mgértés m géyl az légségs statsztka potos dfálását.

8 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 399 lltv mátrxformába β ˆ = ( ) C XWX. Alapvtő probléma, hogy /8/ maxmálása a paramétrk torzított bcslését rdméyz bármly végs mtába, akkor s, ha gyébkét a mta kgysúlyozott. A torzítás mérték a mtaagyság övlésévl csökk, és az rodalom szrt =200 fölött lhayagolhatóvá válk (Schafr [983]). McCullagh és Nldr [989] mgmutatták, hogy a torzítás mérték bármly általáos lárs modllr az alábbak szrt számítható: ahol Bas ( ˆ ) = ( ) β XWX XWx, /2/ ξ k = 05, µ kqkk / µ k, és az általáos lárs modll klasszkus jlölésk mgfllő az rdméyváltozó várható érték k ( ) µ = E Yk, a lárs prdktor η = βx, továbbá µ k és µ k az lső és másodrdű drváltak η k tkttéb, végül Q kk az ( WX) X X X ú. hat mátrx mgfllő dagoáls lm. Mdmlltt, mvl a csődhlyzt lmzés sorá m a paramétrk, ham a blőlük számított odds-aráyo és csődvalószíűség va a hagsúly, zk a jllmzők (a mlárs) átvtl matt akkor s torzítottak lék, ha maguk a paramétrk gyébkét torzítatlaok. A ML-bcslés alkalmazása szmpotjából még krtkusabb probléma, hogy bzoyos stkb végs, gyd ML-mgoldás m s létzk. k k 2.3. Szparáltság és átfdés Egyd, végs maxmum lklhood bcslés m létzk akkor, ha a mgfgylésk a magyarázó változók bármlyk tkttéb tljs, vagy kváz módo szparáltak (Albrt Adrso [984]). A problémát az alább példa vlágítja mg. Egytl magyarázó változó sté, ha valamy csődb mt vállalkozás vsztségs (gatív az rdméy) és valamy működő vállalkozás yrségs (poztív az rdméy), akkor a vállalkozások tljs szparáltak. A zéró yrség mt szparáló érték md vállalkozást korrkt klasszfkál. Ha közb zéró rdméyt md a csődb mt, md a működő vállalkozások között mggdük, akkor a vállalkozások, úgymod, kvázszparáltak. Két magyarázóváltozót tktv, ha a vállalkozásokat az rdméyük és a lkvdtásuk tkttéb a síkba ábrázoljuk, és húzható gy olya gys, mlyk gyk oldalá csak csődb mt, másk oldalá pdg csak működő vállalkozások vaak, akkor a vállalkozások tljs szparáltak. Általáosságba az y, y 2,, y mta tljs szparált, ha létzk a 0, a, a 2,, a p kostasok, mlyk közül lgalább gy poztív dxű m zéró, és

9 400 DR. HAJDU OTTÓ a + a x + a x a x > p p 0 md y =0 str, és a + a x + a x a x < p p 0 md y = str. Ugyaakkor az y, y 2,, y mta kvázszparált, ha md y =0 str, és a + a x + a x a x p p 0 a + a x + a x a x p p 0 md y = str. Ha a mtába sm tljs, sm kvázszparáltság m található, akkor a mta átfdéss. E kofgurácók kövtkzméy a ML-mgoldás létzésér a kövtkző. Ha a mtabl mgfgylésk tljs szparáltak, akkor m létzk gyd végs mgoldás a ML ormál gyltkr. Ha a lklhood függvéyt maxmáló trácós ljárást mégs folytatjuk, a loglklhood zéróhoz csökk, a paramétrk szóródás mátrxa pdg mkorlátossá válk. Ha a mtabl mgfgylésk kvázszparáltak, akkor m létzk gyd végs mgoldás a ML ormál gyltkr. Ha a lklhood függvéyt maxmáló trácós ljárást mégs folytatjuk, akkor a loglklhood gy mzéró kostashoz csökk, a paramétrk szóródás mátrxa pdg mkorlátossá válk. Ha a mtabl mgfgylésk átfdéssk, akkor létzk gyd végs mgoldás a ML ormál gyltkr. Két magyarázóváltozó sté a szparáltság és átfdéssség problémáját llusztrálja a 2. és a 3. ábra. Az ábrák mutatják, hogy hába vaak átfdésk md x, md x 2 tkttéb külö-külö, a (tljs vagy kváz-) szparáltság stévl álluk szmb. Ha bármlyk magyarázóváltozó tkttéb fáll lgalább a kváz szparáltság, vagys az átfdés háya, akkor z légségs fltétl az gyd, végs ML-módszr mlétzéséhz, d hába va átfdés akár mdgyk magyarázóváltozó tkttéb s külö-külö, z ömagába m légségs fltétl a végs, gyd ML-mgoldás létzéséhz. 3 Satr és Duffy [986] ad gy lárs programozáso alapuló algortmust azt mghatározadó, hogy a ML-bcslés mkor m létzk. Fötartással kll fogad mdképp a ML-lv alapuló kövtkzttéskt akkor s (Kg Rya [2002]), ha a végs ML-bcslés létzk ugya, d rtká fordulak lő vagy az, vagy a 0 gydk (zéróközl az aráyuk) a mtába, cskély mértékű az és 0 gydk átfdés a mtába. 3 Egyfél mprkus közlítés a szparáltság mgléték az llőrzésér a kövtkző lht. A log-lklhood maxmálása sorá, ha yolc trácós lépés blül az algortmus kovrgál, akkor m llőrzzük a szparáltságot. A yolcadk trácós lépést kövtő valamy mgfgylésr mghatározzuk az ő mgfllő fltétls valószíűségét. Ha z md mgfgylésr, akkor az adatok tljs szparáltak, a maxmálás ljárást mgállítjuk. Ha tljs szparáltság cs a mtába, d gy mgfgylésr xtrém agy valószíűség (agyobb vagy gylő mt 0,95) adódk, akkor két lhtőség va. Egyflől lht átfdéss a mta, és kkor a maxmálás ljárás láll, ha lért a maxmumot. Másflől, az adatok lhtk kvázszparáltak, kkor a szóródás mátrx m korlátos. Ezt a hlyztt jlz, ha a stadardzált magyarázóváltozók szóródás mátrxa valamy dagoáls lm mghaladja az 5000 értékt.

10 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI ábra. Tljs szparált mgfgylésk két magyarázóváltozó síkjába Lkvdtás Nyrség 3. ábra Kvázszparált mgfgylésk két magyarázóváltozó síkjába Lkvdtás Az ML-gyltrdszr mgoldhatóságáak a kérdés az légségs t-statsztka lhtségs trjdlmék az oldaláról s mgközlíthtő. f=t 0 A t légségs statsztka határa f számú sméy mlltt, tízlmű mtába x t alsó határ Kumulás t flső határ tábla Nyrség

11 402 DR. HAJDU OTTÓ Tktsük 0, a vsztségük tkttéb sorba rdztt gazdálkodó gységt. (Az adatokat a 2. tábla közl.) Ha a 0 lmű mtába például égy tulajdoságú (csőd) cég található, akkor t érték (támaszkodva x rdzttségér) lgalább 0, d lgfljbb 35. Most, ha gy kokrét mtába égy csődbmt mlltt t érték épp 0, vagy épp 35, akkor végs, gyd ML-mgoldás m létzk. Ábrázoljuk a 4. ábrá látható módo t 0 függvéyéb t alsó és flső határát, mly a 0 t0 tartomáyo gy ú. kovx ktrjsztést alkot. Akkor va gyd mgoldása a MLgyltrdszrk, ha a t statsztka mtabl érték kovx ktrjsztés blső potja. 4. ábra. Kovx ktrjsztés M és max légségs t -érték Csődgyakorság Vlágos, hogy az légségs t-statsztka akkor vsz fl a szélső értékt, ha a csődbmt vállalkozások az x szrt ragsorba md gymást kövtv lgalul, vagy md gymást kövtv lgflül hlyzkdk l. Ez pdg a (kváz- vagy tljs) szparáltság st. A 2. tábla adatat haszálva, az gyd ML-bcslés mlétzését llusztrálja az 5. ábra, 4 tljs szparált csődsméyt fltétlzv az loszlás flső szgmsé a 0 lmű mtába: y=(0,0,0,0,0,0,,,,). Ekkor az légségs t -statsztka gybsk a flső határával, azaz t = 35. A mgoldadó ML-gyltrdszr /0/ alapjá most: t = y = 4 = π = = 0 0 t = y x = 35 = π x. = = A 2. táblát tktv látható, hogy z az gyltrdszr végtl sok olya β 0, β paramétrpáros mlltt tljsül, mlyk a 5. ábráak mgfllő az lső 6 mgfgyléshz közl zéró, az utolsó 4 mgfgyléshz pdg közl valószíűségt bcsülk. (Az olva-

12 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 403 só kpróbálhatja például a β 0 = 50, β =2,6568, vagy a β 0 = 55, β =3,9225 paramétrkkl.) Ekkor a lklhood -hz, a loglklhood pdg zéróhóz kovrgál. 5. ábra. Tljs szparált csődsméyk bcsült valószíűség Csődvalószíűség,2 0,8 0,6 0,4 0, Vsztség Újra a 2. tábla adatat haszálva, tktsük most gy háromcsődős, kvázszparált stt olymódo, hogy az lső hét mgfgylés y=0, az utolsó három vszot y= tulajdoságú. Így, mvl x 7 =x 8 =5, a mta kváz-szparált. Egyd ML-bcslés bb az stb sm létzk, mrt az légségs t -statsztka most s gybsk a flső határával, am t =30. Mvl t 0 =3, zért a mgoldadó ML-gyltrdszr a kövtkző: t = y = 3 = π = = 0 0 t = y x = 30 = π x. = = A 2. táblát tktv látható, hogy z az gyltrdszr végtl sok olya β 0, β paramétrpáros mlltt tljsül, mlyk az lső 6 mgfgyléshz közl zéró, az utolsó 2 mgfgyléshz közl valószíűségt, a 7. és a 8. mgfgyléskhz pdg gyarát 0,5 közl valószíűségt bcsülk. (Az Olvasó kpróbálhatja például a (β 0 = 38, β =7,6), vagy a (β 0 = 45, β =9) paramétrkkl.) Most a lklhood a 0,5 2, a 2*loglklhood célfüggvéy pdg a 2,773 értékhz kovrgál. Az lmodottakat a 6. ábra szmléltt. 6. ábra. Kvázszparált csődsméyk bcsült valószíűség,2 Csődvalószíűség 0,8 0,6 0,4 0, Vsztség

13 404 DR. HAJDU OTTÓ Mkor a tglymtszt tkttéb m, csak a rgrsszós mrdkség tkttéb kll optmáluk, akkor trmészts rögzíttt β 0 mlltt már létzk gyd ML-bcslés a β paramétrr, hsz a csődvalószíűség β tkttéb szgorú mooto változk. Ha például a égycsődős tljs szparált mta sté β 0 rögzíttt érték 0,40547 (az x=0 mlltt ML-bcslés), akkor fltétl mlltt β ML bcslés 0,43, és a β paramétrhz tartozó ML-gylt más bcslés mlltt m tljsül. Ugyabb a példába, ha β 0 rögzíttt érték zéró, akkor β ML bcslés 0,375. Ebb az értlmb a tglymtsztt zavaró, usac paramétrkét s szokás kzl. 3. EGZAKT LOGISZTIKUS REGRESSZIÓ Abba az stb, mkor /8/ dfálható, és a tglymtsztr való kövtkzttés m céluk, a bcslést alapozhatjuk az aszmptotkus, d fltétls maxmum lklhood módszrr. Ha /8/ m dfálható, akkor gytl lhtségs mgoldás az y=(y, y2,..., y ) mtabl szkvca md lhtségs prmutácójá alapuló gzakt módszrt haszál. 3.. Fltétls, gzakt prmutácós lklhood Ha céluk a parcáls rgrsszós paramétrk gy szűk csoportjára való kövtkzttés, akkor a több paramétr légségs statsztkák rögzítés révé lmálható a lklhood függvéyből a kövtkzők szrt. Tktsük az légségs statsztkák ( t, t, t,..., t p ) t = 0 2 vktorát a mtába, ahol a korábbakak mgfllő t j = = y. /3/ x j A mta /8/ lklhoodjáak a flhaszálásával az légségs statsztkák gyütts loszlása: Pr ( T t) = = = c() t βt βx ( + ) ahol c(t) mdazo y szkvcák száma (cout), mlyk épp a t vktort rdméyzk. Partícoáljuk most a magyarázó változókat az X=[X 0,X ] módo két csoportba, és lgy fladatuk az X változók paramétrr való kövtkzttés a t légségs β statsztkák alapjá. Ek érdkéb tktsük a, = yr xj = uj jllgű összgt a mtatér gy másk y R szkvcájá s, mgfllő értékt foglaljuk az u = ( u, u ) 0 vktorba, majd képzzük a t 0 légségs statsztkák bkövtkzésék az gyütts valószíűségét:

14 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 405 Pr ( T t ) = = 0 0 u c( u, t ) 0 = βu + βt 0 0 βx ( + ), ahol c( u, t0) mdazo y vktorok száma mlykr Xy=u és X 0 y=t 0. Ekkor az légségs statsztkák fltétls gyütts lklhoodja: ( T= t) Pr Pr ( T = t T = t ) = = t β Pr L( ) ( T = t ) βt + βt 0 0 βt c() t c() t = = c( u, t0) u u βu + βt 0 0 βu c( u, t ) 0. /4/ Mt látható, a usac paramétrkt lmáltuk a fltétls lklhoodból, az ( β L t ) fltétls prmutácós loszlás smrtéb pdg gzakt módo kövtkztthtük a β paramétrkr, am végül a c(t) gyakorságok grálását géyl. Ezt szolgálja az ú. multvarat shft algortmus A multvarat shft algortmus Az gzakt fltétls kövtkzttés alapja aak számszrűsítés, hogy az összs lhtségs 2 számú y lrdzés tükréb az adott mtabl szkvca mly séllyl kövtkzk b. Egyfél mgoldás grál valamy olya y vktort, mlykr X 0 y=t 0, és összszámol mdazo y vktorok számát, mlykr X y=t adódk. A fladat mértk érzéklttésér, tktsük gy háromváltozós (y, x 0, x ) adatállomáyt, és krssük x légségs statsztkájáak gzakt loszlását az x 0 változó légségs statsztkájáak adottsága mlltt. Illusztratív adatok 3. tábla Mgfgylés () y x 0 x Most a mtabl szkvca y=(0,,0,), X 0 =(,,,) és X =(,,2,0). Ezért az légségs statsztkák vktora: t=(t 0,t )=[0(,)+(,)+0(,2)+(,0)]=(2,). Így t prmutácós loszlását krssük a t 0 =2 fltétl mlltt. Foglaljuk táblába a lhtségs 6 y vktort és a hozzájuk tartozó (t 0,t ) értékkt:

15 406 DR. HAJDU OTTÓ 4. tábla A tljs mtatér: valamy lhtségs y vktor Mtatér y y 2 y 3 y 4 t 0 t Képzzük most a külöböző (t 0,t ) vktorok, majd a (t 0 =2,t ) vktorok gyakorság loszlását, mlykt az 5. és a 6. táblák közölk: 5. tábla A külöböző (t 0,t ) vktorok gyakorság loszlása t 0 t Gyakorság Valószíűség 0 0 /6 0 /6 2 2/6 2 / / / /6 3 2 / /6 3 4 /6 4 4 /6 Összs 6 6. tábla A külöböző (t 0 =2,t ) vktorok gyakorság loszlása t 0 t Gyakorság Valószíűség 2 2 2/ / /6 Összs 6

16 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 407 Látható, hogy a fltétls loszlást a fltétl élkülből származtat kézfkvő, d magasabb mtaagyság mlltt m ésszrű. Gyorsabb mgoldást rdméyz a Hrj Mhta Patl [987] által javasolt multvarat shft algortmus, amt a. ábra llusztrál. Az algortmus az alább rkurzív formulára épül: t t x + = + y+ +. Az ábra gy fadagram, mlyk sorszámozott sztj a mgfgylésk gymásutáságát jlzk, md számpár gy t 0,t páros értékét mutatja, míg a mdkor baloldal ágakat y=0, a jobboldal ágakat pdg y= azoosítja. Ek mgfllő a kövtkző (t 0,t ) értékt mdg aszrt övljük mg 0-val vagy x -vl (0x vagy x) értékkl, hogy baloldal, avagy jobboldal ágo szrpl. A kövtkző észrvétlk a számlálás algortmus gyorsítását szolgálják.. A másodk lépésb két (,) ág va mvl gymás utá két azoos mgfgylés kövtkzk. E két (,) ág alatt azoos rdméykr jutuk, thát az (,) ág alatt rdméykt vhtjük kétszrs gyakorsággal. 2. A 3. lépésb sm a (0,0) állapotból, sm a (3,t ) állapotból m tuduk gylépéss (,2) hozzáadással (2,t ) állapotba jut. Ez a mgvalósíthatatlaság-krtérum (Hrj Mhta Patl [987]). 3. A mgvalósíthatatlaság-krtérum aál hatékoyabbam működk, mél magasabb kovaráso kzdjük l lőbb végrhajta. Ha például példákba a 4. x 0 érték hlytt 2 l, akkor a (0,0) állapotból rögtö (2,t ) ágra krülhtük, ha zzl kzdjük az ljárást. 4. Mvl az lső két mgfgylés azoos kovarásokkal bír, zért a kombálásukkal a 0. lépésről rögtö a másodk lépésr ugorhatuk úgy, hogy az duló (0,0) állapotot az =0,,2 csomópotokba (,) értékkl övljük, mközb a csomópotok gyakorsága ( 2). Ezzl a krsés dőt csökktjük, d bomáls gyütthatókat kll számíta. 7. ábra A multvarat shft algortmus mt 3.3. Kövtkzttés gytl paramétrr Az gyd β paramétrr való kövtkzttés a T változó azo fltétls loszlásá alapul, mly csak a β paramétr tkttéb változk, a több paramétrt pdg mt zavaró paramétrt rögzít:

17 408 DR. HAJDU OTTÓ u βt ct (, t, t,..., tp ) 0 2 Lt ( β ) = ct (, ut,, t,..., t ) p βu, /5/ ahol ct (, ut,,..., t ). 0 2 p Az légségs T -statsztka gzakt loszlásáak a haszálatát llusztrálja a kövtkző ks sttaulmáy. Egy 46 lmű véltl mta struktúráját mutatja a 7. tábla, ahol 3 magyarázó változó 8 külöböző kovarása magyarázza összs f=29 darab y= lőfordulását. A mta vállalkozásokat tartalmaz, mlykr y=, ha flszámolás ljárás va ll folyamatba (csőd), gyébkét y=0, mközb a vállalkozás stéb x =, ha az átlagosál alacsoyabb a hosszú távú ladósodottsága, x 2 =, ha az átlagosál jövdlmzőbb, és x 3 =, ha rövd távú lkvdtása az átlagosál jobb, gyébkét valamy másk x érték zéró. A magyarázó változók x k kovarása rdr k gyakorsággal fordul lő, mlyből f k számú y= tulajdoságú. Külöböző kovarások mgoszlása a mtába a csőd gyakorsága szrt Elmszám Kovarás (x) 7. tábla k f k x x 2 x t-statsztka t 0 =29 t =9 t 2 =6 t 3 =2 Vgyük észr, hogy az x változó tkttéb a mta kvázszparált, hsz x =0 mlltt m fordul lő y=0 sméy. Kövtkzésképp a mta lklhoodja tkttéb m maxmálható. A mtába a βj ( j=0,,2,3) paramétrk légségs statsztká /3/ flhaszálásával rdr: t 0 =f=29, t =9, t 2 =6, t 3 =2. Az Olvasó köy llőrzht, hogy a t légségs statsztka mgszorítás élkül alsó határa t =9, flső határa pdg t =29, vagys a mta t tkttéb m blső potja az ú. kovx ktrjsztésk. A T változó fltétls loszlását jllmzdő, tktsük a 8. táblát, mly a 7. tábla 29 csőd vállalkozásáak gy olya szkvcába való lrdzését tartalmazza, mly mgőrz a [t 0 =29, t 2 =6, t 3 =2] mtabl értékkt, vszot a t statsztka a t =26 értékr mlkdk. A 29 csőd vállalkozás trmészts sokfél szkvcába lrdzhtő, d mt arra a későbbkb utal foguk, úgy m, hogy a [t 0 =29, t 2 =6, t 3 =2] fltétl mlltt t érték magasabb lgy mt 26. Itt mlékzttük arra, hogy a [t 0 =29, t 2 =6, t 3 =2] fltétl lhagyásával t maxmáls érték 29 volt. β

18 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 409 Elégségs statsztkák a 29 csőd sméyk gy altratív szkvcája alapjá Elmszám Kovarás (x) 8. tábla k f k x x 2 x t-statsztka t 0 =29 t =26 t 2 =6 t 3 =2 Csődvzsgálatukba a t statsztka gzakt, fltétls loszlását a 9. tábla közl. Mt látható, a [t 0 =29, t 2 =6, t 3 =2] fltétl mlltt m található olya szkvca, mly ksbb t értékt produkála, mt 9, vagy agyobbat, mt 26. Látható, hogy a kokrét mta t trjdlmék a mmáls értékéhz tartozk, és z a t struktúra külöböző szkvca sté kövtkzk b. A t vktortól a csak a t =26 értékb külöbözőt produkáló szkvcák száma pdg Mt látható, az légségs statsztka fltétls, prmutácós loszlásáak a mghatározása számításgéys fladat, mly g gyors algortmust géyl. (Lásd Trchlr [984], Hrj Mhta Patl [987], Hrj [992], Mhta Patl Schaudhur [2000].) Az alkalmazott multvarat shft algortmus léygét a korábbakba már tárgyaltuk. 9. tábla A t -statsztka gzakt, fltétls loszlása t c(29,t,6,2) 9 29,445, ,32, ,27, ,89, ,325, ,473,44 25,204, ,448 Összs 793,870,896 A tábla gyakorságat haszálva, például a t =9 sméy fltétls valószíűség rögzíttt β paramétr mlltt: ( 9 ) Lt = β = c( 29, 9, 6, 2) 9β 26 c(, t,, ) t β t = 9. Az légségs statsztka fltétls loszlását hpotézsvzsgálatra az alább módo haszáljuk.

19 40 DR. HAJDU OTTÓ Hpotézsk tsztlés A parcáls rgrsszós paramétrk tsztlés érdkéb tktsük az alább hpotézspárt: H : β = 0, H : β 0. 0 Az gzakt p-értékt úgy yrjük, hogy a /5/ valószíűség H 0 mlltt értékt összgzzük a spcfkált K krtkus tartomáyo: v K ( ) p = L v β = 0. Krtkus tartomáyt két alapvtő módo képzhtük. Egyflől a fltétls valószíűség, másflől a fltétls scor lv alapjá. A fltétls valószíűség lvék mgfllő krtkus tartomáyt képzk mdazo v értékk, mlykr a /5/ fltétls valószíűség m agyobb, mt a mgfgylt t -értékr számított fltétls valószíűség, vagys: L(v 0) L(t 0). Így az gzakt p-érték: Lv ( 0) Lt ( 0) ( ) p = L v β = 0. t 0 Mvl a ullhpotézs érvéy mlltt =, zért a p-érték számítása a 9. tábla c(.) gyakorságaak a mgoszlása alapszk. Estükb p = L( 9 0) + L( 24 0) + L( 25 0) + L( 26 0 ) = = = 0, Eszrt md 6, százalékál alacsoyabb szgfkacaszt lutasítjuk a ullhpotézst. A fltétls scor lv szrt vszot a krtkus tartomáyt azok a v értékk alkotják, mlykr 2 2 v µ t µ σ σ ahol µ és σ a T változó fltétls loszlásáak átlaga és szórása a β paramétr zéró érték mlltt. Paramétrbcslés Céluk most α mgbízhatóságú (β a, β f ) kofdcatrvallumot szrkszt a β paramétrr, mly dfícó szrt lgt tsz a,

20 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 4 Pr( β <β<β ) = α a kövtlméyk, ahol β a a kofdcatrvallum alsó, β f pdg a flső határát jlöl, és 0<α< az alul- és a flülbcslés gyütts kockázata. E két kockázatot gylő mgosztva, majd a /5/ fltétls loszlás kumulatív valószíűségt képzv, a flső és az alsó határ dfícó szrt rdr lgt tsz az alább azoosságokak: v t f ( f ) L v β =α/ 2 ( ) L v β =α/ 2. v t Vgyük észr, hogy ha t =t max, akkor (lévé tljs sméyrdszr) a kumulatív valószíűség, zért varás β értékér, így lykor mgállapodás szrt β f =. Hasolóa, ha t =t m, akkor β a =. A β paramétr potbcslésér kétfél lhtőség yílk. Maxmálhatjuk gyflől β tkttéb a /5/ szrt L(t β ) valószíűségt. Ez gzakt fltétls maxmum lklhood β ECML bcslést rdméyz, vszot m működk, ha t =t m, vagy t =t ma x. Ebb az stb alkalmazhatjuk a torzítatla mdá módszrt, amly szrt: β = ( β 5 +β 5 )/ 2, um f (. ) a(. ) ahol β a(.5) az α=0,5 mgbízhatóságú kofdcatrvallum alsó, β f(.5) pdg a flső határa. Ha valamlyk határra végtl adóda, akkor a potbcslést automatkusa a másk határ jlt. Estükb a β paramétr 95 százalékos kofdca tartomáyáak flső határa az t = 9 a 9β f c( 29, 9, 6, 2) L( 9 β f ) = = 0, tβf c( 29, t, 6, 2) azoosság tratív mgoldásával β f =0,6 adódk. Előrjlzés Bcsüljük az x 0 kovarás mlltt az y= sméy P 0 valószíűségék gzakt kofdca trvallumát. Az lőrjlzés érdkéb paramétrzzük át a logt modllt az alább módo: A /6/ modll ( β ) * ( π ) = ( β + ) + ( ) logt x 0 xβ 0 x x 0 β. /6/ 0 =β 0 +xβ 0 tglymtszték gzakt kofdcatrvalluma gyb kofdcatrvallum az l ( P /( P )) 0 0 logtra. A modll új magyarázóváltozó

21 42 DR. HAJDU OTTÓ az rdt értékkk az lőrjlzés pottal csökkttt érték, valamy mtalmr. A logtra yrt kofdca határok végül a mgszokott xp(.)/(+xp(.)) módo adják a valószíűségr voatkozó határokat. Illusztratív számítások Jl példába a paramétrbcslés rdméyt a 0. tábla tartalmazza. Egzakt kövtkzttés a paramétrkr Paramétr Potbcslés Egzakt 95% CI Egzakt p-érték β 0 3,535,477 ( ) 0,000 (β 0 )* 0,737,90 (0,30) 0,64 β,886 (0,60) 0,06 β 2, (0,363) 0,7 β 3,56 2,997 (0,52) 0,54 0. tábla A rgrsszós mrdkségkt lltő, a p-értékk alapjá látszk, hogy míg az x változó 6, százalékos szt szgfkás, addg x 2 és x 3 m. Mvl a β 0 tglymtszt a (0,0,0) kovarás mlltt lárs lőrjlzés, zért gy vállalkozás stéb, ha jltős ladósodott, kvéssé jövdlmző, és kvéssé lkvd, akkor a csőd bkövtkzésék valószíűség 95 százalékos mgbízhatósággal lgalább 48, + 48, = 0, 84. Számításakba a * β 0 * tglymtsztt oly módo bcsültük, hogy a magyarázóváltozók valamy értékéből gyöttű -t lvotuk. Ezáltal β 0 az x 0 =(,,) kovarás (kvéssé ladósodott, g jövdlmző és módfltt lkvd) mlltt bcsült logt, így kovarás mlltt a csőd bkövtkzésék sély lgalább és lgfljbb 9, + 9, 03, + 03, = 0, 29 = 0, 577. Másflől, a β rgrsszós mrdkség parcáls értlmzését lltő, ha a vállalkozás kvéssé ladósodott, akkor ctrs parbus 06, = 73,,

22 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 43 thát 7,3 százalékkal agyobb a csődhlyztb krülés odds-aráya szmb azokkal, akk kább ladósodottak. Ugyaakkor 95 százalékos mgbízhatóság szt lgfljbb 06, + 06, = 054, a valószíűség aak, hogy a szóba forgó vállalkozás csődhlyztb krül. Vgyük észr, hogy z gy lgfljbb jllgű bcslés, hsz a gatív lőjlű mgfllő potbcslést alkalmazva az aalóg rdméyk rdr 886, = 052, +, 886, 886 = 0, 32, amly valószíűségk a csődhlyztb krülés valószíűségék a csökkésér utalak azokkal szmb, akk az átlagosál kvésbé ladósodottak. A β 2 és β 3 paramétrkr való kövtkzttés hasoló módo törték Kövtkzttés több paramétrr A hpotézsk tsztlésék mgkülöböztttt st a rgrsszós paramétrk voatkozásába, amkor a hpotézs tartalmlag gy kvaltatív magyarázó változóra voatkozk, mlyk lhtségs kmt katgórák. Ekkor katgóraváltozót (a katgórák számától függő) bárs, ú. dummy változók rdszrévl írjuk l, thát dummy változók paramétrt kll tsztlük. Ilykor a statsztka hpotézs szükségszrű a paramétrk gy csoportjára voatkozk gydjűlg. Egy másk sttaulmáyra áttérv, csődhlyzt szmpotból tktsük 47 vállalkozást lkvdtás rátájuk 4, és botásuk 5 szmpotjából, és botsuk mdkét mutató skáláját három, rdr: alacsoy, átlagos, és magas katgórára. Lgy x =, ha a lkvdtás ráta alacsoyabb az átlagosál, x 2 =, ha a lkvdtás átlagos sztű, x 3 =, ha a botás alacsoyabb az átlagosál, és x 4 =, ha átlagos szívoalú a botás, gyébkét md más x érték zéró. Ha a vállalkozás csődhlyztb va, akkor y=, gyébkét y=0. Bár a modllb csupá két téyzőt, vzts a lkvdtást és a botást vzsgáljuk, módszrtalag több, rdr 2-2 dummy jllgű (,0 kmtű) x magyarázóváltozó rprztálja téyzőkt. Az adatokat a. tábla közl. A táblába fltüttésr krült a tglymtszthz tartozó mstrségs x 0 összgző vktor, továbbá az légségs t-statsztkák érték s. 4 Lkvdtás ráta = (forgószközök készltk) / rövd ljáratú kötlzttségk. 5 Botás = hosszú ljáratú kötlzttségk / saját vagyo.

23 44 DR. HAJDU OTTÓ A lkvdtás és a botás hatása a csődhlyztb krülésr Csődhlyzt Tglymtszt Kovarás (y) x 0 x x 2 x 3 x 4. tábla Gyakorság t-statsztka A logt modll zk utá l ( x) =logt ( x) 0 odds π =β +β x +β x +β x +β x , amly paramétrt a ft mta alapjá a maxmum lklhood módszrrl m tudjuk bcsül, mvl a mgfgylt adatok a mtatér határára sk. Mdazoáltal érdks számukra, hogy a botás ráta szgfkása bfolyásolja- a csődhlyztt, vagy sm. Ezt formalag a H0 : β 3 = β 4 = 0 /7/ hpotézs fjz k, mlyt a mgfllő légségs statsztkák gzakt, gyütts fltétls loszlására támaszkodva tsztlhtük. Általáosságba tktsük a β paramétrvktorak az lső q-lmét lválasztó és a tovább (p q)-lmét tartalmazó β partícóját, mlykhz rdr az légségs statsztkák t0 és t vktora tartozk. Ekkor a paramétrk β csoportjára való gydjű kövtkzttés a hozzájuk tartozó T légségs statsztkák gyütts loszlásáak az smrtét géyl, a több légségs T 0 =t 0 statsztka mtabl szt való rögzítttség mlltt. Az így dfált fltétls loszlás thát függtl a paramétrktől. Lgy ullhpotézsük, hogy valamy β β 0 paramétr zéró: β 0 0 : H β = 0 szmb a kétoldal H altratívával, mszrt lm közül lgalább gy m zéró. A hpotézs tsztlésér szolgáló fltétls valószíűség: β

24 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 45 L ( t β) ( t t ) c, 0 = Az gzakt kétoldal p-érték általáosságba u βt c( u, t ) 0 βu ( v β 0) p = L = v K.. /8/ A krtkus tartomáyt most s kétfél úto kostruálhatjuk. A fltétls valószíűség módszrévl mdazo v értékk alkotják a K krtkus tartomáyt, mlykr: míg a fltétls scor lv alapjá { : ( ) ( )} Kprob = v L v β = 0 L t β =0, /9/ { : ( ) ( ) ( ) ( )} Kscor = v v µ Σ v µ t µ Σ t µ, /20/ ahol µ az átlaga, Σ pdg a kovaracamátrxa az L( t β ) loszlásak. Vzsgálatukba a /7/ hpotézs tsztlés az L(t 3,t 4 β 3 =β 4 =0) prmutácós ullloszlás alapjá törték, a több légségs statsztka mgfgylt (t 0 =4, t =5, t 2 =8) érték való rögzítés mlltt. A tsztléshz az gzakt fltétls scor módszrt haszáljuk. A fltétls scor érték most általába var( t ) cov( t, t ) t µ 3 s = [ t3 µ 3, t4 µ 4] cov( t, t ) var( t ) t µ, ahol stükb t 3 =6 és t 4 =4. Így az átlag és a kovaracamátrx közlésétől ltktv, s=7,293. A kövtkzttés alapjául szolgáló p-érték mghatározása kétráyú. Egyflől a fltétls scor tszt alapjá a /20/ krtkus tartomáyt alkalmazva a p-érték t3, t4 K ( ) pscor = L t3, t4 β 3 =β 4 = 0 = 0, Másflől aszmptotkus p-érték mghatározására s lhtőség yílk a 2 szabadságfokú ch-égyzt loszlás tglyé az alább száry-valószíűség (tal-probablty) számítása révé: 2 ( ) Pr χ 2 > 7, 293 = 0, 026. A lkvdtásra voatkozó aalóg gzakt, lltv aszmptotkus p-értékk rdr: 0,007 és 0,009. Mt látható, a lkvdtás kább szgfkás téyző mt a botás. Ugyaak-

25 46 DR. HAJDU OTTÓ kor jl stb, a kcs mtalmszám llér az gzakt és az aszmptotkus rdméyk agyo közl állak gymáshoz. Az aszmptotkus rdméyk potosságáak most az a magyarázata, hogy m a fltétl élkül, ham a fltétls ML-bcsléshz kötődk. Flhívjuk a fgylmt újra, hogy bár a paramétrk m gzakt maxmum lklhood bcslésér cs lhtőség a vzsgált adatállomáy sté, gzakt módo lhtőség yílt hpotézsk tsztlésér Kövtkzttés rétgztt mta sté Tktsük gy g=,2,...,m számú rétgr botott sokaságot, amly rétgkből rdr, 2,..., m lmű függtl mták állak rdlkzésr, mlykb rdr f, f 2,..., f m az y= stk száma. Jlölj p g a Pr(Y g = x g ) sméy fltétls valószíűségét, ahol x g a p-dmzós kovarás a g rétgb, az gydr voatkozóa. E körülméyk között a logt az πg l =β +β x +β x β x πg g g g p gp lárs modll szrt alakul, ahol a β j parcáls mrdkség közös valamy rétgr, és a β 0g rétgspcfkus tglymtszt fjz k a rétghatást (a rétghz való tartozást dummy változók rdszr rögzít az adatok között). E körülméyk között az légségs statsztkák képzés t j m g = y g= = gx gj /2/ módo törték, ahol t0 g = fg md rétgr. A rétghatások bcslés agymértékb övl a bcsüldő paramétrk számát, zért, ha m céluk a rétghatások lmzés, akkor kézfkvő zavaró paramétrkét kzl azokat, és légségs statsztkák mgkötés mlltt kövtkztt a rétghatástól mts több paramétrr. Az alábbakba 30 vállalkozást tktük, akk tvékységük alapjá hét adott ágazat gykéhz kötődk, alakuláskor bcsült kockázat dxük a K=0,,2,...,5 skála valamly kmt, és y=, ha 3 év blül fztésképtlség bjltés matt dult llük csődljárás, gyébkét y=0. A rétgzés ágazatok szrt (g=,2,3,4,5,6,7) törtét. Az adatok a 2. táblába láthatók. A csődljárás π g valószíűség modllj most a K kockázat dx fltétl mlltt a kövtkző: πg l π g =β g +βk 0 g.

26 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI tábla Az alakuláskor kockázat dx hatása a csődljárás mgdítására Vállalkozás Ágazat (g) Kockázat dx (K) Csődljárás (y) A kvés mgfgylés matt, ha a közös kockázat téyző bcslés mlltt az ágazat hatásokat s bcsülék, akkor z a paramétrk rlatív magas száma matt agymértékb rotaá a kockázat dx hatásáak a bcslését. Ezért a β 0g ágazat hatás bcslését lmáljuk azáltal, hogy az ágazatokét csődljárások számát fltétlkét kzlv kövtkzttük a β paramétrr: H : β = 0, H : β 0. 0 Ezt most mgthtjük gzakt és aszmptotkus úto s. Az gzakt, fltétls loszláso alapuló maxmum lklhood bcslés β ECML =0.325, a hozzá tartozó (fltétls scor) p- érték 0,067, míg a 95 százalékos kofdcatrvallum [0,0223, 0,74]. Ugyaakkor a fltétls, d aszmptotkus módo bcsült 95 százalékos mgbízhatóságú kofdcatrvallum [ 0,004, 0,654]. A mgfllő p-értékk pdg rdr: p(scor)=0,029, p(wald)=0,0528, és p(lklhood rato) = 0,023.

27 48 DR. HAJDU OTTÓ Látható, hogy az gzakt módszrt alkalmazva a kockázat téyző hatása (md a kofdcatrvallum, md a p-érték alapjá) 5 százalékos szt szgfkás. Ezzl szmb az aszmptotkus kofdcatrvallum és az aszmptotkus Wald-tszt alapjá a kockázat dx hatása m szgfkás A paramétrk lárs kombácójáak tsztlés Tktsük végül a logt lárs rgrsszóját az alább formába ( ) ( ) ( logt. = X p, β p, ), /22/ vktor tartalmazza a tglymtsztt s. Lgy flada- H 0 : C( rp, ) β( p, ) = 0 /23/ ahol X az adatmátrx és a tuk a β hpotézs tsztlés, ahol C ragja tljs. H 0 tsztlés érdkéb írjuk fl a /22/ modllt az alább átparamétrztt formába logt (). = Xβ + XG { Cβ { = X β + X β X2 b2 2 2, ahol a G mátrxot úgy választjuk mg, hogy GC=0 tljsüljö, és X =X, valamt β = β. Így a /23/ hpotézs tsztlés az L(T 2 T =t ) gzakt loszlás mghatározásával végrhajtható. 4. TORZÍTÁSCSÖKKENTŐ KORREKCIÓK ASZIMPTOTIKUS KÖVETKEZTETÉSEKHEZ Ha az mgfgylés rtka sméy a mtába, akkor tovább stk csatolása kíváatos a mtához, stadard hba csökktő hatása révé. Ha ugyas a logt modll lőrjlzés mgbízható, akkor π y = bcsült érték magasabb mt π y =0 bcsült érték, d 0,5-höz közl, mrt alulbcsült, thát π ( π ) érték a // formulába rlatív magas, és agyobb az, mt a 0 gydk sté, thát újabb gyd csatolása a mtához a paramétrk varacáját tovább csökkt. Ha az rtkasága matt csatolására cs lhtőség, akkor célszrű alkalmas módo 0 gydkt lhagy (Kg Zg [200a,b]). Ek mgfllő mtavétl stratéga az ú. cascotrol módszr, ahol adott katgórához tartozó csőd sthz választuk gy vagy több 0, azaz kotroll jllgű mgfllő vállalkozást. A cas és cotrol mgfgylésk közl gylő részaráya a mtába az optmáls aráy a paramétrk stadard hbája szmpotjából. Az ly jllgű bcslés tovább korrkcót, vzts pror korrkcót géyl, ha va ly formácók az gydk sokaság P aráyára voatkozóa. A csődbmt vállalkozásokra ly jllgű formácó rdlkzésr áll.

28 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 49 A torzításcsökktő pror korrkcó módszr (Prtc Pyk [979], Mask Lrma [977]) a klasszkus ML-bcslésből dul k, majd a bcsléskt korrgálja az y= gydk a pror sokaság P aráyára, és a mtabl y aráyára voatkozó formácóval. A tglymtszt kozszts korrgált bcslés: ˆ P y l ˆ y P β l l 0 =β0 P y y P βˆ β0 0 ML Ek modavalója, hogy ha valamy magyarázóváltozó érték zéró, akkor z az odds-aráy smrt, mégpdg P/( P). A logt modll által bcsült odds-aráy, vszot a ML odds-aráy y / ( y ). A korrkcó a bcsült tglymtsztt a torzítás mértékévl módosítja, és hatására az x=0 vzts stb a modll által bcsült odds-aráy a sokaság odds-aráyt adja. Az lmzésk többségéb a hagsúly m föltétlül a rgrsszós paramétrk bcsült értékék az lmzésé, ham a valószíűségk mél potosabb számításá va. Ilykor md a tglymtszt, md a rgrsszós paramétrk mél prcízbb bcslés közpot kérdés, mlyk gyfél szköz a pror korrkcó módszr. Hátráya a pror korrkcó módszrék, hogy ha a modll tévs spcfkált, akkor a bcslésk kvésbé robusztusak (lásd X Mask [989]), mt az alább tárgyaladó módszr. A súlyozott mtavétl maxmum lklhood bcslés (Mask Lrma [977]) gy altratív módszr az tulajdoságú gydk ltérő sokaság és mtabl aráyáak a fgylmb vétlér, ahol Pr ( ) v x ( ) ( ) 0 Y = =π x és Pr Y = 0 x = π x dfálja a fltétls valószíűségkt. A m csoportosított =,2,..., mta sté kkor a lklhood függvéy ahol L v y v0 ( ) (( ) ) v = y = π π, P P v =, v0 =. y y Látható, hogy ha a sokaság és a mtabl aráyok mggyzk, akkor a klasszkus lklhood függvéyt kapjuk. Ha P > y akkor csökktjük a π valószíűség hatását a lklhoodba, gyébkét övljük. Mvl általába a súlyozatla loglklhood az v ˆ β 0 ( y) l L = l ( + 2 βx ) /24/ =

29 420 DR. HAJDU OTTÓ formába s írható, a maxmáladó súlyozott loglklhood függvéy /24/ alapjá gy tagba fölírva ( ) ( ) ( y ) l ( ( )) l l ( ) y Lv v y v y 2 βx 2 = + + = v + βx 0. = = A ft flírás gyakorlat hasza az, hogy a v súlyokat mghatározva a paramétrk bcslés bármly stadard logstc rgrsso programmal számítható. A módszr háyossága, hogy a mgszokott formácós mátrxo alapuló stadardhba-számítás rős torzított bcslést rdméyz, másflől a rtka sméy mtá blül rtkaságát (pror korrkcó élkül) m vsz fgylmb. E háyosságok kküszöbölését tszk lhtővé a kövtkző (Kg Zg [200a]) korrkcók. A közlítőlg torzításmts bcslés érdkéb végrhajtadó korrkcó ( ˆ) β % = βˆ bas β, ahol a torzítás mértékét /2/ szrt határozzuk mg 6 (( v ) ˆ v ) X( X WX) ξ= 05, + π ( ˆ ) W = dag πˆ π v X A ft ljárás stadardhba-csökktő hatású, mvl McCullagh és Nldr ([989] 457. old.) alapjá közlítőlg ahol /(+p+) <, és így C β % βˆ + p +, 2 β% C βˆ. + p+ β % ( ) Trmészts a súlyozott lklhood maxmálása, és a pror korrkcó gyütt s alkalmazható. Ez a poto mrül fl a rtkaság problémája, mszrt az sméy mtabl rtkasága matt bár már közl torzítatla, a π% β % valószíűség alulbcsl a π valószíűségt. Ezt a faktort vsz fgylmb a fltétls valószíűség potbcsléskor a rtkaság korrkcó, mly a π valószíűségt bays szmléltb mt várható értékt dfálja (rögzíttt x0 kovarás mlltt): v 6 Most µ =, µ = v π π, µ = vπ π v + v π. v π ( ) v ( )( ( ) )

30 A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI 42 ( 0 ) 0 E Pr Y = = π =. /25/ βx + 0 A /25/ várható érték közlítő mghatározása érdkéb képzzük az függvéy Taylor-sorát a β % bcslés körül, mly a kvadratkus taggal bzárólag: 2 π 0 Pr ( Y π0 0 = ) = π % + ( β β% ) + ( β β% ) ( β β% 0 ). β 2 β β β=β% % β=β / ( + βx 0 ) A várható értékt vév végül (a szükségs átalakításokat lásd Kg Zg [200a]): ( ) ( ) π π % + π% π% π% xcx , β% adódk. Látható, hogy ha 05, >π% 0, és a logt paramétrk mtavétl kovaracamátrxa m zéró mátrx, akkor π% alulbcsl a π 0 valószíűségt. 0 IRODALOM ALBERT, A. ANDERSON, J. A. [984]: O th xstc of maxmum lklhood stmats logstc modls. Bomtrca. 7. évf. 0. old. Bartus T. [2003]: Logsztkus rgrsszós rdméyk értlmzés. Statsztka Szml. 8. évf. 4. sz old. BRESLOW, N. E. DAY, N. E. [980]: Statstcal Mthods Cacr Rsarch. IARC. Lyo. BULL, SB. MAK, C. GREENWOOD, C. M. T. [2002]: A modfd scor fucto stmator for multomal logstc rgrsso small sampls. Computatoal Statstcs ad Data Aalyss. 39. évf old. CHRISTMANN, A. [2002]: Classfcato basd o th support vctor mach ad o rgrsso dpth. I: Dodg, Y. (szrk.) Statstcal Data Aalyss Basd o th L-Norm ad Rlatd Mthods. Srs: Statstcs for dustry ad tchology. Brkhausr. Basl old. CHRISTMANN, A. FISCHER, P. JOACHIMS, T. [2002]: Comparso btw varous rgrsso dpth mthods ad th support vctor mach to approxmat th mmum umbr of msclassfcatos. Computatoal Statstcs. 7. évf old. CHRISTMANN, A. ROUSSEEUW, P. J. [200]: Masurg ovrlap logstc rgrsso. Computatoal Statstcs ad Data Aalyss. 37. évf old. COLLETT, D. [999]: Modllg Bary Data. Boca Rato. FL: CRC Prss. COX, D. R. SNELL, E. J. [989]: Aalyss of Bary Data. Chapma ad Hall. Lodo. CRAMER, J. S. [999]: Prdctv Prformac of th Bary Logt Modl Ubalacd Sampls. Th Statstca. 48. évf old. FONG, A. P. YU, Y. H. HEISEY, D. M. [999]: Logstc Rgrsso a Adaptv Wb Cach. IEEE Itrt Computg. 3. sz old. GARTHWAITE, P. H. JOLLIFFE, I. T. JONES, B. [995]: Statstcal Ifrc. Prtc Hall. HAJDU, O. VIRÁG, M. [200]: A Hugara Modl for Prdctg Facal Bakruptcy. Socty ad Ecoomy. XXIII. évf. 2. sz old. HIRJI, K. F. [992]: Exact dstrbutos for polytomous data. JASA. 87. évf old. HIRJI,K. F. MEHTA, C. R. PATEL, N. R. [987]: Computg dstrbutos for xact logstc rgrsso. JASA. 82. évf old. HIRJI, K. F. MEHTA, C. R. PATEL, N. R. [988]: Exact frc for matchd cas-cotrol studs. Bomtrcs. 44. évf OLD. HIRJI, K. F. TSIATIS, A. A. MEHTA, C. R. [989]: Mda ubasd stmato for bary data. Th Amrca Statstca. 43. évf. 7. old. Huyad L. [200]: Statsztka kövtkzttéslmélt közgazdászokak. Közpot Statsztka Hvatal. Budapst. JENNRICH, R. I. MOORE, R. H. [975]: Maxmum Lklhood Estmato by Mas of Nolar Last Squars. Procdgs of th Statstcal Computg Scto. Amrca Statstcal Assocato old. KING, G. ZENG, L. [200a]: Logstc Rgrsso Rar Evts Data. Poltcal Aalyss. 9. sz old. KING, E. N. RYAN, T. P. [2002]: A Prlmary Ivstgato of Maxmum Lklhood Logstc Rgrsso vrsus Exact Logstc Rgrsso. Th Amrca Statstca. 56. évf. 3. sz old.

31 422 DR. HAJDU: A LOGIT-REGRESSZIÓ KISMINTÁS PROBLÉMÁI KING,G. ZENG, L. [200b]: Explag Rar Evts Itratoal Rlatos. Itratoal Orgazato. 55. évf old. MANSKI, CHARLES F. LERMAN, STEVEN R. [977]: Th Estmato of Choc Probablts from Choc Basd Sampls. Ecoomtrca. 45. évf. 8. sz old. MEHTA, C. R. PATEL, N. R. [995]: Exact Logstc Rgrsso: Thory ad Exampls. Statstcs Mdc. 4. évf old. MEHTA, C. R. PATEL, N. R. SENCHAUDHURI, P. [2000]: Effct Mot Carlo Mthods for Codtoal Logstc Rgrsso. JASA. 95. évf sz. Thory ad Mthods old. MCCULLAGH, P. NELDER, J. A. [989]: Gralzd Lar Modls. Chapma ad Hall. Nw York. PRENTICE, R. L. PYKE, R. [979] Logstc Dsas Icdc Modls ad Cas-Cotrol Studs. Bomtrca. 66. évf old. SANTNER, T. J. DUFFY, D. E. [986]: A Not o A.Albrt s ad J.A.Adrso s Codtos for th Exstc of Maxmum Lklhood Estmats Logstc Rgrsso Modls. Bomtrca. 73. évf old. SCHAEFER, R. L. [983]: Bas Corrcto Maxmum Lklhood Logstc Rgrsso. Statstcs Mdc. 2. sz old. TRICHLER, D. [984]: A Algorthm for Exact Logstc Rgrsso. JASA. 79. évf old. XIE, YU MANSKI, C. F. [989]: Th Logt Modl ad Rspos-Basd Sampls. Socologcal Mthods ad Rsarch. 7. évf. 3. sz old. SUMMARY Th papr dals wth th problms of frc for th logstc rgrsso modl causd by a small sampl sz. I fact, th small sampl basd frc s uavodabl wh th rsarch s about rlatvly rar vts such as facal bakruptcy obsrvd spcal brachs. Th problms of trst ar o th o had that v provdd a cosdrabl sampl sz th customary ucodtoal asymptotc maxmum lklhood stmato (UAML) dos ot xst wh th sampl s sparatd. O th othr had, th cas of a ubalacd sampl th UAML stmator s basd to a grat xtt wth o rgard to th sampl sz. Fortuatly, th so-calld xact logstc rgrsso s th approprat tool for aalysg such typs of data. Th papr dscusss th udrlyg thory bhd th xact codtoal frc ad provds llustratv xampls th fld of prdctg facal bakruptcy that cotrast th xact frc wth th mor customary ucodtoal asymptotc maxmum lklhood approach.