Osztályozás képdiagnosztikánál

Osztályozás Elválasztó felület keresése Input-output leképezés ismert osztályú (tanító) pontok alapján x, d P d 1,2,..., k i i i1 i Lineáris Paramétereiben lineáris, de nemlineáris Nemlineáris

Célfüggvény, kritérium függvény, objektív függvény, kockázat Veszteség függvény (loss function, hibafüggvény) minimumkeresés négyzetes hiba, kereszt entrópia L( d, f ( x, w)) d f ( w, x ) d y 2 2 i i i i i i i, xi, w i ln xi, w 1 i ln 1 xi, w Kockázat p(w,z) a paramétervektor és a megfigyelések együttes sűrűségfüggv. apasztalati kockázat (empirical risk) P 1 R ( w) d f ( w, x ) 2 E i i P i 1 L d f d f d f R w E L d, f x, w x, d R ( w) L( z, w) p( w, z) dz dw Egyéb objektív függvények (különbözőség, likelihood függvény, a posteriori sűrűségfüggvény) z, w

Az osztályozás minősítése R (risk) és R emp (empirical risk) kapcsolata R( w) R emp ( w) ( h) 2 1 4R emp ( h) ( w) h(ln (2l / h) 1) ln( / 4) 2 2 ( h) 4 h min R w, N 1, l Egy függvénykészlet a VC-dimenziója (h), ha létezik h olyan mintapont, melyeket a függvénykészlet elemeivel minden lehetséges módon be tudunk sorolni két osztály valamelyikébe (a h mintapontot minden lehetséges módon két színnel ki lehet színezni), de h+1 ilyen mintapont már nem létezik. A VC-dimenzió tehát az a maximális mintaszám, amit adott függvényosztály elemeivel hibátlanul particionálhatunk minden lehetséges módon. A VC-dimenzió egy függvényosztály komplexitásának egyfajta mértékeként is tekinthető.

Lineáris bináris osztályozás Optimális vetítési irány keresése Objektív függvény: különbözőség maximuma

LDA Optimális vetítési irány keresése LDA linear discriminant analysis: dimenzió redukció

LDA - KDA C( w) Kritérium függvény maximumkeresési feldat 2 m m 2 1 w m2 m1 m2 m1 w w SBw s s w x m x m w w x m x m w 2 2 1 2 i 1 i 1 i 2 i 2 (1) ( 2) ic ic w S w w S w w S S w w S w W1 W 2 W1 W 2 W C( w) S B osztályok közötti S W osztályokon belüli

LDA optimális paraméter vektor w arg min w w SBw w SW w arg min w 1 w SWSBw w w Rayleigh hányados 1 W B B 2 1 2 1 S S w w de ws w w m m m m w ezért 1 W S w m m m m w B S m m w 2 1 2 1 2 1

y Xw x 1 x 2 X x Analitikus megoldás Lineáris egyenletrenszer Mátrix invertálás A regularizació szerepe Lineáris osztályozás Lineáris modell, négyzetes hiba, csak a mintapontok P R ( w) ( d Xw) ( d Xw) Iteratív megoldás (gradiens módszer) w( k 1) w( k) μc( k). E w X d 1 X X X d -1 w X d X X I X d LS ( )

Lineáris osztályozás Egyenletek száma (P) Ismeretlenek száma (N) P<N Alulhatározott: végtelen számú megoldás (az N-P számú szabad paraméter tetszőlegesen megválasztható) P=N Van egyértelmű megoldás. Ha a lineáris egyenletek (az X mátrix sorai) lineárisan függetlenek, a mártix teljes rangú. P>N úlhatározott: Minden egyenletet kielégítő megoldás nem feltétlenül létezik. De LS értelemben lesz megoldás: Moore-Penrose inverz. Iteratív megoldásnál egy tartományon belül fog kóvályogni a megoldás. Példák a túlhatározott esetre : kétdimenziós (N=2), és P>2 mellett.

Gradiens módszerek (elsőrendű módszerek) Négyzetes hibafelület C 2 2 w( k) k dk x k wk ˆ C k 2 w k k 2 k xk. LMS algoritmus (-LMS) w ˆ k 1 wk μck wk 2μ k xk -LMS ( k) w k 1 w k k x x k kxk 0 1 0 2 max

Gradiens módszerek (kapcsolatok) Online módosítás ( k) y Xw wk 1 wk k x k x kxk Kaczmarz iteráció Minták elővételi sorrendje nem közömbös. Batch módosítás ( k) w k 1 w k x k x k kxk SAR/SIR

Másodrendű módszerek Hibafelület négyzetes vagy a hibafelület aylor soros közelítésével dolgozunk 0 0 0 0 12 0 2 C 0 Hesse mátrix Cw w w C w w C w w H w w H w 0 i, j w Newton módszer w i w w j 1 k 1 wk Hw( k) Cw( k). w w w 2 1 1 R C( w) Az LMS/Newton algoritmus 1 k 1 wk 2R k xk R E xx Autokorrelációs mátrix Ha a négyzetes hiba várható értéke alapján keressük a minimumot

. Másodrendű módszerek A H mátrixot közelítjük 2 y w H E y wy w wiwj 1 w k 1 w k H w( k) k I C w( k). a H mátrix az optimumhoz közeledve egyre inkább az első tagtól függ, hiszen akkor általában mind, mind y(w) görbülete egyre kisebb, ezért felvethető az alábbi közelítés. H E y w y w A Levenberg-Marquardt eljárás (az első- és a másodrendű eljárás kombinálása)

Konjugált Gradiens módszer Olyan irányokat keresünk, hogy egy N-dimenziós keresési térben N lépés alatt garantált legyen a konvergencia (kvadratikus felületnél) qi Rq j 0, i j. j j 1 0 N j j j0 w w q 0 q Rq q p Rw j j 1 k j j j0 k k N w w 0 q, és w w, q Rw k k q Rw 0. w k1 w k k q k, j 1 2 q j q. C j a kezdőpontban érvényes negatív gradiens adja a legelső irányt, majd a következő irányok rendre az aktuális gradiens és a megelőző irány lineáris kombinációjaként kerülnek kiszámításra: q q 0 C 0 1 C k 1 q, k k k C k 1 C k k Rqk, k k j C k Rq j k1 q Rq k Rq k. 1 1 C k 1 C k C k C k C k q k

Itertatív eljárások konvergenciája w 1 w * (b) (a) (c) w (1) w (0) w 0 Példa konvergenciára négyzetes hibafelület esetén -"legmeredekebb lejtő" módszerrel a trajektória mentén (kis mellett) (a), -"legmeredekebb lejtő" módszerrel nagyobb mellett (b); - a konjugált gradiensek módszerével (c).

Logisztikus regresszió Folytonos Gauss eloszlás mellett (ha az eges osztályokhoz tartozó feltételes sűrűségfüggvényeknél a kovariancia mátrix azonos) ( a) Emlékeztető 1 W S m m w 2 1 LDA

Likelihood arány teszt Statisztikai döntés ( x) p( x C ) 1 p( x C ) 2 C 1 = Based on the Likelihood function = 1 C 2 C 1 p( x C1 ) PC ( 2) ( x) = Bayes döntés = P(C 2 p( x C ) P( C ) P(C 1 2 1 C 2 C 1 p( x C1 ) ( K12 K22) P( C2) ( x) = p( x C ) ( K K ) P( C ) 2 21 11 1 C 2 A Bayes döntés költségértékekkel ( K12 K22) P( C2) ( K K ) P( C ) 21 11 1

Lineáris osztályozás Maximum likelihood megoldás pd ( 1 x, w) sgm( w x) ( w x) i i pd ( 0 x, w) 1 sgm( w x) 1 ( w x) i i p( d x, w) ( ( w x )) (1 ( w x ) y (1 y ) Egy mintára di (1 di ) di (1 di ) i i i i i i i xi w L di i L i1 i L p( d, ) y (1 y ) (1 d ) L( w) d ln y (1 d )ln(1 y ) i i i i i1 i1 i Az összes (L) mintára Likelihood függvény Iteratív megoldás

, Lineáris osztályozás Kernel gép (SVM) wxi wxi b a 0 ha d 1 b a 0 ha d 1 i i d ( wxb) 1 i 1, 2,, P i i 1 Lw, b, α w w ( ) 1 i di w xi b P 2 i1 x 2 x p x r optimális hipersík L L w, b, α 0 P w idixi w i1 i1 w, b, α 0 P idi 0 b i 0 xx p r w w r x 1 1 w Q( α) P idi i1 w 1 P P P i i jdid jxi x j i1 2 i1 j1 0 0 i1,..., P P s i1 d x i i i i ( ) sign P y x i dixi x b i1

Nemlineáris osztályozás Paramétereiben lineáris osztályozó: nemlineáris transzformáció + lineáris osztályozó y w i ix w φx LS megoldás Kernel gép i 1 ( w Φ Φ) Φ d d ( w φx ( ) b) 1 i 1, 2,, P i i 1 Q( α) φ ( x ) φ( x ) P P P i i jdid j i j i1 2 i1 j1 Τ K( x, x) ( x ) ( x) i i x Nemlineáris (x) Lineáris y transzformá osztályozó N ció M>N w P d ( ) i i xi i1 P y( x) sign i dik( xi, x) b i1

Nemlineáris osztályozó Nemparametrikus nemlineáris osztályozó NN nearest neighbour, k-nn Posterior becslése n cimkézett minta x körül egy V térfogat (tartomány) k mintából k i darab i cimkéjű m-edik osztályba sorolunk, ha Nemmetrikus módszerek Döntési fák CAR Szabály alapú módszerek...

Nemlineáris osztályozás Nemlineáris kernel gépek (SVM) Neuronhálók Klasszikus hálók Deep hálók

Az MLP-től a mély hálókig (Deep Klasszikus NN (MLP) Networks) Open question: hány rejtett réteg?

MLP sok rejtett réteggel Egy rejtett réteg elegendő az univerzális approximációs tulajdonsághoz (...), de előnyös lehet ha több rejtett réteget használunk. Összetettebb leképezés kevesebb neuronnal Különböző típusú rejtett rétegek is alkalmazhatók Hátrányok BP tanítás lassú úl sok szabad paraméter, túl nagy szabadságfok Számítási komplexitás nagy

Jellemzők kiválasztása A jellemzők meghatározása, kiválasztása: az egyik legnehezebb feladat ROI kiválasztása: elváltozás kiemelő szűrők (IRIS filter, SBF, AFUM, illesztett szűrők, stb.) ROI jellemzői: Haralick features (textúra jellemzők), geometriai jellemzők (kerület, terület, ezek aránya,...), ROI-n belül képjellemzők (minimum, maximum, átlag, szórás, magasabb momentumok, medián, entrópia,...), gradiens jellemzők: Gauss deriváltak DoG, LoG,... Globális-lokális jellemzők dilemmája A jellemzőtér dimenziója: hány jellemző alapján osztályozzunk? Dimenzió növelés, több megfigyelés- többdimenziós vektor: a dimenzió átka Szekvenciális döntés (több mérés, ugyanarról az objektumról, multimodális vizsgálat) Occam borotvája Dimenzió redukció, a releváns változók kiválasztása (PCA, NPCA, KPCA, PLS,...) Dimenzió redukció regularizáció segítségével: regularizációs tag: l2 norma, l1 norma Relevant vector machine (Bayes módszer a változók szelektálására)...

PCA x y 2 2 Jellemző kiválasztás x φ1, φ2,..., φn N M yiφi xˆ yii M N yi φi x i1 i1 N N N E φi x x φi φi E xx φi φi Rxxφi im 1 im 1 im 1 N M 2 N 2 2 E x xˆ E y iφi yiφi E yi i1 i1 im 1 N N φ i φ j 1 ij φ φ φ C φ φ φ xx ˆ 2 1 1 i i i i i i i i im 1 im 1 N ˆ 2 i 2 i i xx φ C φ φ 0 i im1 C φ xx φ i i i 2 I, vagyis N N N φ i R xx φ i φ i i φ i i im 1 im 1 im 1 2 E y f w w Rw w w w w Rayleigh hányados

KPCA Φ: F, x X Φ( x) Jellemző kiválasztás N 1 P P R C Φx jφx j V CV V iφx i P j 1 i1 P P P k k 1 iφ xk Φ xi iφ xk Φ x j Φ x j Φ xi i1 P i1 j1 Φ x V Φ x CV, Kij K xi xj Φ xi Φ x 2 j PKα K α Pα Kα Sajátvektorok normalizálása k V k V 1 1 P i, j1 k k Φ x Φ x i j i j i, j1 k k kα α A jellemzőtérbeli vektorok vetítése P k k k k K α Kα i j ij V k Φ x k k Φ x Φ x K x, x P i i i1 i1 P i i

Osztályozás fő lépései (különböző megközelítések)

Jellemző kiválasztás Dimenzió redukció a legfontosabb jellemzők meghatározására (PCA, KPCA) Dimenzió redukció a legrelevánsabb jellemzők meghatározására (PLS, érzékenység analízis) Ritka megoldás keresése (regularizáció,...)

MLP BP algorithm anítás A telítődő nemlineáris aktivációs függvény hátrányai Szigmoid nemlinearitás, a derivált tart nullához... Exponenciális függvények számítása Lassú és nagy számítási komplexitású algoritmus Lokális minimumba ragadás veszélye Hogyan módosítsuk a háló architektúráját a hátrányos kiküszöbölése vagy mérséklése céljából Módosítsuk az aktivációs függvényt

Aktivációs függvények ReLU előnyei - Könnyű számítani - Nincs telítéses szakasz - A derivált számítása egyszerű - Univ approximation képesség megmarad - Hatékony gradiensalapú tanítási algoritmusok léteznek

Az új MLP architektúra

anítás (BP)

raining algorithms SGD Minibatch Különböző gradiens alapú algoritmusok Momentum (Nesterov momentum) AdaGrad, AdaDelta, RMSProp, Adam

Data set Increase the number of labelled data Artificially generated samples (augmentations) Shifting Rotating Flip vertically or horizontally...

Jellemző kiválasztás Különböző típusú rétegek alkalmazása A lényegkiemelést maga a háló végzi Szűrés (konvolúció), sok konvolúciós réteg Dimenzió redukció, feature selection

Convolutional layer

convolution

Feature selection

Dimension reduction Pooling layer

Fully connected layers Normál BC umor1 umor2 Nem azonosított elvált

A complex network

Dropout Complex neurons (to reduce free parameters )

Dropout

Autoencoders Feature selection, dimension reduction (bottleneck layer)

An example

ransfer learning Fix (pretained) Fix (pretained) Fix (pretained) trainable trainable

Implementation

Implementation Models: GoogleNet: CNN model finetuned on the Extended Salient Object Subitizing dataset (~11K images) and synthetic images. his model significantly improves over our previous models. Recommended. AlexNet: CNN model finetuned on our initial Salient Object Subitizing dataset (~5500 images). he architecture is the same as the Caffe reference network. VGG16: CNN model finetuned on our initial Salient Object Subitizing dataset (~5500 images). Many further details can be found in http://deeplearning.net/ Some figures of this slide set was obtained from: - Deep Learning NIPS 2015 utorial, Geoff Hinton, Yoshua Bengio & Yann LeCun - Introduction to Machine Learning CMU-10701 Deep Learning

Main types of suspicious areas malignant cases mikrokalcifikáció architekturális torzítás spikulált folt Jóindulatú elváltozás

A képek (esetek) változatossága zsíremlő zsír-grandular sűrű grandular 20.05.2004 IMC 2004, Como, Italy

Kép szegmentálás

Éldetektálás és textura alapú osztályozás Matching based on segment position + texture parameters

Egy lehetséges út a mikrokalcifikációk detektálásra Image reading Image egment selection exture analysis no Suspicious segment? yes Focusing on suspicious subsegment no Reinforcement yes Edge detection Curvilinear detection no yes Removing of curvilinear objects Verification no Fals positive result yes rue positive result

Kulcscsont és bordák árnyékának eltüntetése

Kerekárnyék keresés

Összesített eredmények: FROC (Free-Response Receiver Operating Characteristic Curve)

example of the results of the steps of vessel feature extraction.