Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás

Orvosi képdiagnosztika Diagnosztika = egy rendszer állapotának meghatározása a rendszerről rendelkezésre álló mérések, megfigyelések és a priori információk alapján Állapotok száma: véges, sok esetben 2: hibás (beteg), normális működésű (egészséges). x N y{0,1}; x N y[0,1] Diagnosztika = döntés meghozatala Diagnosztikai rendszer = Input-output leképezés y=f(x) Orvosi diagnosztika Input: tünetek, vizsgálatok, leletek, képek, háttértudás Output: diagnózis. 2 (vagy több) osztályú osztályozási feladat

Orvosi képdiagnosztika Orvosi diagnosztika = tapasztalati tudomány Sok minősített eset: {x i,d i } i=1,p y=f(x) Megtanulja a döntéshozó a kapcsolatot Számítógépes diagnosztikai rendszer Próbálja szimulálni az orvosi döntéshozást Más megközelítést (is) alkalmaz, mint az orvosok (az orvosi háttértudás felhasználása nehéz) Egy diagnosztikai rendszer fő elemei Megfigyelési tér definiálása Döntési szabály konstruálása Döntés meghozatala

Döntési folyamat leképezései {,......, } 1 i c p(xω i ) P( x) i Megfigyelt rendszer (beteg) Megfigyelési tér tér Döntési tér y{1,2,...c} P(ω i )

Orvosi képdiagnosztikasztika (kép)diagnosztika Iteratív folyamat ünetek, leletek = jellemzők Döntési tér módosítása igen Lehet dönteni? nem Diagnózis osztályozás ovábbi vizsgálatok Megfigyelés, mérés Mérési eredmények értelmezése, Jellemző kiválasztás (feature selection), dimenzió növelés, fontossági sorrend megállapítása, dimenzió csökkentés Döntés: döntési szabály, jellemzők alapján (valójában osztályozás)

Orvosi képdiagnosztika Statisztikai alapon döntünk Milyen ismeretünk lehet: osztályvalószínűségek, megfigyelések Kétosztályos osztályozás ω = ω 1 egészséges ω = ω 2 beteg naív döntés: a priori valószínűségek alapján ω 1 ha P(ω 1 ) > P(ω 2 ); egyébként ω 2. ω 1 P( ) P( ) 1 2 ω 2 Mindig az lesz a döntés, hogy a paciens egészséges

Orvosi képdiagnosztika Döntési szabály mérések alapján: A mérési adatok feltételes sűrűségfüggvénye (likelihood függvény) alapján A megfigyelési tér: a mérési eredmények tere Döntési szabály: a megfigyelési tér dekomponálása, szeparálása Egydimenziós triviális esetben küszöbértékhez hasonlítunk Az egyes osztályok a priori valószínűségeit nem vettük figyelembe px ( 1) px ( 2) ω 2 p( x ) p( x ) 1 2 ω 1 p(xω 1 ) p(xω 2 ) R 1 R 2 Döntési küszöb

Statisztikai döntés Milyen alapon döntünk Egy paraméter alapján (egydimenziós a döntési tér): küszöbbel való összevetés, több küszöb Likelihood px ( 1) px ( 2) Az a priori valószínűségeket nem veszi figyelembe

Bayes döntés (a posteriori valószínűségek alapján) P( 1 x) P( 2 x) = Bayes szabály 1 2 Statisztikai döntés p( x 1) P( 1) px (, ( 1) p x 1) P( 1) P( 1 x) p( x) p( x) p( x i) P( i) i1,2 1 p( x 1) P( 1) p( x 2) P( 2) = p( x) p( x) 2 P(ω 1, x) P(ω 2, x) p( x 2) P( 2)

A döntés minősítése A döntés hibája, a hibás döntések valószínűségei Ha =

Statisztikai döntés Döntés minősítése a hibás döntések valószínűség Költségfüggvény, veszteségfüggvény (loss function), Bayes kockázat (risk) a költség várható értéke Optimális döntés: az átlagos döntési hiba minimumát biztosító döntés R 1 R 2 1 =P F (false alarm) a téves riasztás valószínűsége elsőfajú hiba 2 =P M (missed detection) a tévesztés valószínűsége másodfajú hiba

Statisztikai döntés A döntéshez költség is rendelhető: C ij annak a költsége, ha i a döntés de j a valódi osztály Ezzel a Bayes átlagos költség: A Bayes költség minimumát biztosító döntés Mivel és

Statisztikai döntés Bayes döntés Redukálható hiba

Statisztikai döntés A Bayes költség felírható R C P p( x ) dx C P p( x ) dx Felhasználva... R 11 1 1 12 2 2 R R 1 1 C P p( x ) dx C P p( x ) dx a b 21 1 1 22 2 2 R R 2 2 A döntési tartomány minimalizálja az átlagos költséget 2 2 C P C P ( C C ) P p( x ) dx ( C C ) P p( x ) dx 21 1 22 2 12 22 2 2 21 11 1 1 R R 1 1 1 R arg min ( C C ) P p( x ) ( C C ) P p( x ) dx 1 12 22 2 2 21 11 1 1 R

Likelihood arány teszt Statisztikai döntés ( x) P( 1) P( ) 2 ω 1 = ω 2 Naiv döntés = 1 ( x) px ( ) 1 px ( ) 2 ω 1 = Likelihood függvény alapján = 1 ω 2 ω 1 px ( 1) P( 2) ( x) = Bayes döntésnél = P(ω 2 p( x ) P( ) P(ω 1 2 1 ω 2 ω 1 px ( 1) ( C12 C22) P( 2) ( x) = p( x ) ( C C ) P( ) 2 21 11 1 ω 2 A Bayes költség minimumát biztosító döntésnél ( C12 C22) P( 2) ( C C ) P( ) 21 11 1

Statisztikai döntés A Bayes hiba az a priori valószínűségek függvénye: a döntési küszöb (felület) módosul

ovábbi döntési szabályok Statisztikai döntés Minimax döntés A Bayes hiba az a priori valószínűségek függvénye.

ovábbi döntési szabályok Neyman-Pearson döntés Statisztikai döntés Az a priori valószínűségek meghatározása lehet nehéz A cél a hibavalószínűségek minél kisebb értéken tartása Az egyik hibavalószínűség (P F ) rögzítése mellett (P F =) a másik (P M )minimumát biztosító döntést keressük: Lagrange multiplikátoros feltételes szélsőérték-kereső probléma C P ( P ) NP M F C (1 ) p( x ) p( x ) dx NP R 2 1 1 Itt is megadható a likelihood arány teszt ( x) px ( ) 1 px ( ) 2 ω 1 = ω 2

Statisztikai döntés Neyman-Pearson döntés triviális esetben nemtriviális esetben

A döntés minősítése A döntés eredménye döntés egészséges beteg Valóság egészséges Valódi negatív (N) (Helyes döntés) éves pozitív (FP) (False alarm P F, elsőfajú hiba, 1 ) beteg éves negatív (FP) (Missed detection P M, másodfajú hiba, 2 ) Valódi pozitív (P) (Helyes döntés) R 1 R 2 Érzékenység (sensitivity) = P P+FN Fajlagosság (specificity) = N N+FP

Értékelés Minősítés ROC görbe, (érzékenység 1-specificitás; 1-P M P F ) FROC (mivel túl sok a téves pozitív) AUC

öbbdimenziós megfigyelési tér etszőleges Gauss sűrűségfüggvények mellett: általános kvadratikus elválasztó (hiper)felület

Osztályozás Döntési szabály: az eredő kockázat minimumát biztosító választ kell adni. A kockázat általában nem meghatározható. A megfigyelések terét kell két tartományra bontani. öbb paraméter alapján (többdimenziós döntési tér) A tér szeparálása: lineáris, nemlineáris, összefüggő tartományok, nem összefüggő tartományok Felhasználható információ ------------------------------------------------------------------------------- megfigyelések {x i,d i } i=1,...,l a priori valószínűségek: P( i ) a megfigyelések feltételes sűrűségfüggvényei: Bayes döntés Költségértékek: C ij px} ( i ) ------------------------------------------------------------------------------- megfigyelések {x i,d i } } i=1,...,l maximum likelihood megfigyelések feltételes sűrűségfüggvényei px ( i ) döntés ------------------------------------------------------------------------------- megfigyelések megfigyelések {x i,d i } i=1,...,l LS döntés ------------------------------------------------------------------------------- Egyre kevesebb a felhasznált ismeret

Osztályozás, szeparáló felület öbb paraméter alapján (többdimenziós döntési tér) lineáris kvadratikus? Általános nemlineáris

Osztályozók Lineáris osztályozók Megfelelő feltételek mellett Bayes, ML, LS LDA Perceptron Logisztikus regresszió (megfelelő feltételek mellett) SVM (kernel gépek, lineáris kernellel) Döntési fák... Nemlineáris osztályozók Megfelelő feltételek mellett Bayes Nemlineáris transzformáció + lineáris osztályozó Nemparametrikus módszerek (NN, knn) KDA Bázisfüggvényes megoldások Kernel gépek (nemlineáris kernellel) Neurális hálók

Osztályozás Perceptron Logisztikus regresszió LS megoldás ML megoldás Gauss eloszlások mellett Bayes megoldás regularizált LS megoldás Gauss eloszlások mellett

Lineáris osztályozás LDA többdimenziós tér (x) egydimenziós tér (y=w x) Kitüntetett vetítési irány (w) keresése m 1 m 1 m 2 m 2

LDA: Fisher linear discriminant Optimalizálási feladat: azt a vetítési irányt keressük, mely irányra vetítve az adatok a legjobban megkülönböztethetők 2 ( m1 m2 ) w ( m2 m1)( m2 m1) w w SBw Rayleigh hányados 1 W B J ( w) S S w w -1 w SWSBw ww S w ( m m )( m m ) w B 2 1 2 1 S w iránya ( m m ) B 2 1

Lineáris osztályozás Perceptron s(k) = w x(k) y(k) = sgn(s(k)) (k)= d(k)-y(k) w k w k 1 d k y k x k w k 1 k x k Konvergens, ha: Az adatok lineárisan szeparálhatók Véges számú adat van Az adatok felülről korlátosak >0

Lineáris osztályozás LS megoldás y=w x vagy y=w x+w 0 Iteratív megoldás w k w k 1 2 d k y k x k w k 1 k x k analitikus megoldás: pszeudoinverz 1 ( w X X) X d

Lineáris osztályozás Logisztikus regresszió posterior alapján dönt p( x ) P( ) 1 1 P x a 1 p( x ) P( ) 1 1 ( 1 ) ( ) a p( x ( 1) P( 1) p( x 2) P( 2) p x 2) P( 2) 1e a p( x ) P( ) 1 1 ln p ( x 2 ) P ( 2 ) 1 1 Folytonos bemenet mellett, Gauss eloszlású mérési adatoknál P( x k ) P( 1 x) P( ) ln 1 P ( ) 2

Lineáris osztályozás Maximum likelihood megoldás pd ( 1 x, w) sgm( w x) ( w x) i i pd ( 0 x, w) 1 sgm( w x) 1 ( w x) i i p( d x, w) ( ( w x )) (1 ( w x ) y (1 y ) Egy mintára di (1 di ) di (1 di ) i i i i i i i xi w L di i L i1 i L p( d, ) y (1 y ) (1 d ) L( w) d ln y (1 d )ln(1 y ) i i i i i1 i1 i Az összes (L) mintára Likelihood függvény Iteratív megoldás

, Lineáris osztályozás Kernel gép (SVM) wxi wxi b a 0 ha d 1 b a 0 ha d 1 i i d ( wxb) 1 i 1, 2,, P i i 1 Lw, b, α w w ( ) 1 i di w xi b P 2 i1 x 2 x p x r optimális hipersík L L w, b, α 0 P w idixi w i1 i1 w, b, α 0 P idi 0 b i 0 xx p r w w r x 1 1 w Q( α) P idi i1 w 1 P P P i i jdid jxi x j i1 2 i1 j1 0 0 i1,..., P P s i1 d x i i i i ( ) sign P y x i dixi x b i1

Nemlineáris osztályozás Paramétereiben lineáris osztályozó: nemlineáris transzformáció + lineáris osztályozó y w i ix w φx LS megoldás Kernel gép i 1 ( w Φ Φ) Φ d d ( w φx ( ) b) 1 i 1, 2,, P i i 1 Q( α) φ ( x ) φ( x ) P P P i i jdid j i j i1 2 i1 j1 Τ K( x, x) ( x ) ( x) i i x Nemlineáris (x) Lineáris y transzformá osztályozó N ció M>N w P d ( ) i i xi i1 P y( x) sign i dik( xi, x) b i1

Nemlineáris osztályozás Paramétereiben is nemlineáris osztályozó LS megoldás x 0 = 1 w k 0( ) x k 1( ) w k 1( ) y sgm( wx ) + + x( k) x k N( ) w k N( ) + - () k + dk () w k 1 w k 2 k k sgm s k x k w k 2 k k x k

Nemlineáris osztályozás x (1) 1 x x (1) 2 (1) N (1) x = 0 PE (1 ) 1 s (1) 1 PE (1) 2 PE (1) 3 s (1) 2 s (1) 3 sgm sgm sgm x = (2) 0 1 1 W (1) (2) y y y (1) 1 (1) 2 (1) 3 W PE (2) 1 PE (2) 2 s s (2) 1 (2 ) 2 sgm sgm y 1 y 2 d d 1 1 2 2 x (1) x = y (1) ( L) ( L1) (1) y f W f W f W x... ( ) (2) (2) y y = y (2) (1) f W f W x Paramétermeghatározás: minimumkeresés (LS probléma), BP vagy annak valamelyik variánsa

Nemlineáris osztályozó Nemparametrikus nemlineáris osztályozó NN nearest neighbour, k-nn Posterior becslése n cimkézett minta x körül egy V térfogat (tartomány) k mintából k i darab i cimkéjű m-edik osztályba sorolunk, ha Nemmetrikus módszerek Döntési fák CAR Szabály alapú módszerek...

Jellemzők kiválasztása A jellemzők meghatározása, kiválasztása: az egyik legnehezebb feladat ROI kiválasztása: elváltozás kiemelő szűrők (IRIS filter, SBF, AFUM, illesztett szűrők, stb.) ROI jellemzői: Haralick features (textúra jellemzők), geometriai jellemzők (kerület, terület, ezek aránya,...), ROI-n belül képjellemzők (minimum, maximum, átlag, szórás, magasabb momentumok, medián, entrópia,...), gradiens jellemzők: Gauss deriváltak DoG, LoG,... Globális-lokális jellemzők dilemmája A jellemzőtér dimenziója: hány jellemző alapján osztályozzunk? Dimenzió növelés, több megfigyelés- többdimenziós vektor: a dimenzió átka Szekvenciális döntés (több mérés, ugyanarról az objektumról, multimodális vizsgálat) Occam borotvája Dimenzió redukció, a releváns változók kiválasztása (PCA, NPCA, KPCA, PLS,...) Dimenzió redukció regularizáció segítségével: regularizációs tag: l2 norma, l1 norma Relevant vector machine (Bayes módszer a változók szelektálására)...

PCA x y 2 2 Jellemző kiválasztás x φ1, φ2,..., φn N M yiφi xˆ yii M N yi φi x i1 i1 N N N E φi x x φi φi E xx φi φi Rxxφi im 1 im 1 im 1 N M 2 N 2 2 E x xˆ E y iφi yiφi E yi i1 i1 im 1 N N φ i φ j 1 ij φ φ φ C φ φ φ xx ˆ 2 1 1 i i i i i i i i im 1 im 1 N ˆ 2 i 2 i i xx φ C φ φ 0 i im1 C φ xx φ i i i 2 I, vagyis N N N φ i R xx φ i φ i i φ i i im 1 im 1 im 1 2 E y f w w Rw w w w w Rayleigh hányados

Jellemző kiválasztás KPCA N : R F, ( ) j j 1 P P C Φ x Φ x V CV V iφx i P j 1 i1 P P P Φ xkv Φ xkcv 1 iφ xk Φxi iφ xk Φx j Φ x j Φxi i1 P i1 j1 Φ x X Φ x, Kij K xi xj Φ xi Φ x 2 j PKα K α Pα Kα Sajátvektorok normalizálása k V k V 1 1 P i, j1 k k Φ x Φ x i j i j i, j1 k k kα α A jellemzőtérbeli vektorok vetítése P k k k k K α Kα i j ij V k Φ x k k Φ x Φ x K x, x P i i i1 i1 P i i

KPCA K Jellemző kiválasztás Nulla várható érték biztosítása ij i j P k1φ xk 0 K Φ x Φ x K 1 P i i k P k 1 Φ x Φ x Φ x P i 1 α α V iφx i P 1 P 1 Φx Φx Φx Φx ij i p j k P p1 P k1 P P P 1 1 1 K 1 K K 1 1 K 1 ij ip pj ik kj 2 ip pk kj P p1 P k 1 P p, k 1 K 1 K K1 1 K1 P P P P ij

PLS Jellemző kiválasztás A kritérium szekvenciálisan maximáljuk a kimenet és a bemeneti változók lineáris kombinációját X, d w a bemeneti változók x i és a kimenet d kapcsolatát (súlyait) adja meg) w k 2 arg max cov ( Xw, d) w w1 Ortogonalitási feltétellel t k Xw k tk t j wk X Xw j 0 minden 1 j k

Orvosi CAD rendszerek információ-feldolgozási folyamata Mellkas röntgenkép (PA) diagnosztika

Orvosi CAD rendszerek információ-feldolgozási folyamata Mellkas tomoszintézis

Orvosi CAD rendszerek információ- feldolgozási folyamata Mammográfia

Main types of suspicious areas malignant cases mikrokalcifikáció architekturális torzítás spikulált folt Jóindulatú elváltozás

A képek (esetek) változatossága zsíremlő zsír-grandular sűrű grandular 20.05.2004 IMC 2004, Como, Italy

Kép szegmentálás

Éldetektálás és textura alapú osztályozás Matching based on segment position + texture parameters

Egy lehetséges út a mikrokalcifikációk detektálásra Image reading Image egment selection exture analysis no Suspicious segment? yes Focusing on suspicious subsegment no Reinforcement yes Edge detection Curvilinear detection no yes Removing of curvilinear objects Verification no Fals positive result yes rue positive result

Kulcscsont és bordák árnyékának eltüntetése

Kerekárnyék keresés

Összesített eredmények: FROC (Free-Response Receiver Operating Characteristic Curve)

example of the results of the steps of vessel feature extraction.