A. Jakovác, ELTE, Institute of Pysics

Understanding understanding A. Jakovác, ELTE, Institute of Pysics Intelligent particles OTKA group

Tartalom Bevezetés A megértés definíciója Az AI feladatok megközelítése Mikor hasznos a tudomány? Megértés és tanulás Konklúzió 2

Mi a megértés? Mit lehet megérteni? matematikai formulát, könyvet, viccet, Honnan tudjuk, hogy értünk valamit? Tudunk válaszolni a kérdésekre! ellenőrző kérdés: pl. az alábbiak közül válaszd ki a racionális számokat számolási kérdés: pl. körpályán mozgó test gyorsulása összefoglaló kérdés: pl. írd le a Római Birodalom bukásának okait példa kérdezése: pl. mondj egy példát exoterm reakcióra Ezek az AI feladatai is! (klasszifikáció, regresszió, tömörítés, dekódolás) Megértés technikai definíciója: egy jelenség olyan leírása, ahol a fenti feladatok egyszerűen megoldhatók. 4

Többféle megértés Egy jelenség többféle módon is megérthető! gáz megértése molekulák ütközése, Newton-egyenletek vagy kvantummechanika kinetikus gázelmélet, statisztikus fizika hidrodinamika ill. gáztörvények, termodinamika Mindegyik külön-külön is egyfajta megértés 5

Többféle megértés Egy jelenség többféle módon is megérthető! gáz megértése molekulák ütközése, Newton-egyenletek vagy kvantummechanika kinetikus gázelmélet, statisztikus fizika hidrodinamika ill. gáztörvények, termodinamika képfeldolgozás Mindegyik külön-külön is egyfajta megértés digitalizált képben pixelek színe, korrelációja, technikai részletek: textúrák, színek, színfoltok makroszkopikus részletek: pl. macska, nő, fotel festmény: Renoir: Nő macskával 6

Többféle megértés Egy jelenség többféle módon is megérthető! gáz megértése molekulák ütközése, Newton-egyenletek vagy kvantummechanika kinetikus gázelmélet, statisztikus fizika hidrodinamika ill. gáztörvények, termodinamika képfeldolgozás Mindegyik külön-külön is egyfajta megértés Ez lesz aamegértés megértésére: Ezigaz igaz leszkorrelációja, megértés megértésére: digitalizált képben pixelek színe, technikai részletek (DNN, technikai részletek: textúrák, színek, színfoltok technikai részletek (DNN,Boltzmann BoltzmannMachine, Machine,...)...) Bayes-i modell makroszkopikus részletek: pl. macska, nő, fotel Bayes-i modell(valószínűségi) (valószínűségi) fogalmi festmény: Renoir: Nő macskával fogalmirendszerek rendszerek 7

Miért fontos a megértés megértése? Általánosan: megértés szükséges a tervezéshez. Intelligencia/megértés megértésével megközelíthetünk olyan kérdéseket, mint miért hibáznak az AI módszerek váratlanul, és hogyan lehet ezen segíteni? mekkora a minimálisan szükséges információ a veszteségmentes tömörítéshez? lehet-e/érdemes-e a tudományos módszereket (elméletek, algoritmusok) helyettesíteni AI módszerekkel? 8

Klasszifikációs hibák Amazon s facial recognition matched 28 members of Congress to criminal mugshots 9

Definiáljuk a megértést! Egy jelenség megértéséhez meg kell találnunk a hasznos fogalmakat (pl. pixel, vagy macska, szem, arc, haj, ember, vagy festészeti stílusok stb.) A különböző szintű megértések ugyanannak a jelenségkörnek másfajta fogalmi reprezentációját adják Megértés Megértésdefiníciójához definíciójáhozaa jelenségek jelenségek különféle különféle reprezentációját reprezentációját kell kell megvizsgálnunk! megvizsgálnunk! 11

Adatok reprezentációja Feldolgozandó adatok legyenek valamilyen X véges halmaz elemei x ϵ X (pl.: X = képek, szövegek, adatsorok, stb. ) Ezt valamilyen formában számszerűsíteni kell; ehhez Ψ V : X V bijekciót N használunk (pl. V =V 1, ahol V 1 = {pixel színek} vagy {karakterek}...) De másfajta reprezentáció is lehet: Ψ Z : X Z ΨZ A két reprezentáció viszonya: 1 F=Ψ V Ψ Z, F :V Z szintén bijekció koordináták koordináták~ ~fogalmak, fogalmak,tulajdonságok tulajdonságok egy egyadat adatesetén eseténnincs nincskitüntetett kitüntetettreprezentáció! reprezentáció! 12 ΨV F=Ψ 1 V ΨZ

Adathalmazok Adathalmazok: valódi objektum megfigyelése: különböző szögek, megvilágítás, stb élő beszéd: ugyanazok a szavak más háttérzajban, más kiejtéssel, stb. macskás képek: más helyzet, eltérő fajták, más háttér, stb. Adathalmazok esetén eloszlásokat értelmezhetünk. Ψ : X Z koordináták eloszlása C X részhalmazon: (C ) Független koordináták: p Ψ ( ξ )= 1 (C ) p Ψ ( ξ )= δ C x C Ψ( x)=ξ i p(cψ ) ( ξ i ) i Ez esetben a korrelációs függvények szorzat alakúak: 1 (C ) ξ a ξ a C = Ψ a ( x) Ψ a ( x)= d ξ p Ψ ( ξ ) ξ a ξ a = ξ a ξ a C x C 1 13 k 1 k 1 k 1 k

Egyszerű példa: 3 bites kép esete Összes kép halmaza: X = { 3 bit }, 8 elemű halmaz 1 2 1 2 A pixelek eloszlása: p i ( σ )= δ σ 0 + δ σ 1 i {1,2,3 } A pixelek függetlenek a teljes X halmazon, mert 1 1 1 σ i X =, σ 1 σ 2 X = = σ 1 X σ 2 X, σ 1 σ 2 σ 3 X = = σ 1 X σ 2 X σ 3 X 2 4 8 Ha egymástól függetlenül választok pixeleket a fenti (egyenletes) eloszlással, akkor a teljes X halmazt legenerálom! 14

Egyszerű példa: 3 bites kép esete Válasszuk ki a C = { 001, 010, 100, 111 } X részhalmazt! Az egyes pixelek eloszlása C-n: egyenletes, mint az előbb. 1 1 p i ( σ )= δ σ 0 + δ σ 1 2 2 i {1,2,3 } De a pixelek nem függetlenek C-n! 1 1 1 σ i C =, σ 1 σ 2 C = = σ 1 C σ 2 C, σ1 σ 2 σ 3 C = σ 1 C σ2 C σ 3 C 2 4 4 Részhalmaz választása esetén korrelációk alakulnak ki a pixelek között! 15

Egyszerű példa: 3 bites kép esete Más koordináták: ξ1= {1-esek száma mod 2}, ξ2 =σ 2, ξ 3 =σ 3 Ezek eloszlása C-n: p 1 ( ξ )= δ ξ 1, 1 1 pi ( ξ )= δ σ 0 + δ σ 1 i {2,3 } 2 2 ξ1 éles eloszlású, ξ2,3 egyenletes eloszlású. Ezek a koordináták már függetlenek! 1 1 1 1 ξ1 C =1, ξ 2,3 C =, ξ1 ξ 2,3 C =, ξ2 ξ3 C =, ξ 1 ξ 2 ξ3 C = 2 2 4 4 Ezek a koordináták hasznos fogalmak C jellemzésére! pl.: x C ξ1 =1 le lehet generálni C-t függetlenül választva a koordinátákat 16

Hogy lehet megtalálni ezt a koordinátarendszert? p C minden elemhez rendeljük hozzá a sorszámát permutáljuk a képhalmazt (bijekció), hogy a C halmaz elemei kis sorszámúak legyenek a sorszámot írjuk fel C bázisban n=a C +b, b C x C elemekre a=0, x C elemekre a 0 17

Több részhalmaz együttes megértése A A A = {0001,0011,0110,1110}, B={1001,1101} Lehet-e olyan koordinátarendszert felírni, amelyben mindkét részhalmaz elemei beazonosíthatók? A B B A 18

Több részhalmaz együttes megértése A A A B A 19 p A = {0001,0011,0110,1110}, B={1001,1101} Lehet-e olyan koordinátarendszert felírni, amelyben mindkét részhalmaz elemei beazonosíthatók? B minden elemhez rendeljük hozzá a sorszámát (n) permutáljuk (p) az X halmazt úgy, hogy A kerüljön előre, utána B következzen X B A x A, ha ξ1=0, ξ2, ξ3 tetszőleges x B, ha ξ1=1, ξ 2=0, ξ 3 tetszőleges n ( p( x))= ξ1 A + ξ 2 B + ξ 3 ξ1 {0, 1} A A ξ2 {0, 1} B ξ 3 {0, B 1}

A megértés matematikai definíciója def.: A Ψ: X Z bijekció a C₁, C₂,, Cₙ X diszjunkt részhalmazok teljes közös modellje, ha a megfelelő ξᵢ ᵢ koordináták függetlenek, és eloszlásuk vagy éles, vagy nem-nulla. def.: Akkor mondjuk, hogy értjük a C₁, C₂,, Cₙ X diszjunkt részhalmazokat, ha találunk teljes közös modellt rájuk. (C 1) p ={ (C 2 ) p ={,,,,, },,,,, }... 20

A megértés matematikai definíciója def.: A Ψ: X Z bijekció a C₁, C₂,, Cₙ X diszjunkt részhalmazok teljes közös modellje, ha a megfelelő ξᵢ ᵢ koordináták függetlenek, és eloszlásuk vagy éles, vagy egyenletes. def.: Akkor mondjuk, hogy értjük a C₁, C₂,, Cₙ X diszjunkt részhalmazokat, ha találunk teljes közös modellt rájuk. (C 1) p ={ (C 2 ) p ={,,,,, },,,,, }... éles eloszlás: releváns koordináták 21...

A megértés matematikai definíciója def.: A Ψ: X Z bijekció a C₁, C₂,, Cₙ X diszjunkt részhalmazok teljes közös modellje (common complete model CCM), ha a megfelelő ξᵢ ᵢ koordináták függetlenek, és eloszlásuk vagy éles, vagy egyenletes (nem-nulla). def.: Akkor mondjuk, hogy értjük a C₁, C₂,, Cₙ X diszjunkt részhalmazokat, ha találunk teljes közös modellt rájuk. (C 1) p ={ (C 2 ) p ={,,,,, },,,,, }... nem-nulla eloszlás: irreleváns koordináták éles eloszlás: releváns koordináták 22...

Teljes közös model és megértés Hogyan lehet egy teljes közös modell (CCM) segítségével elvégezni az AI feladatokat? klasszifikáció regresszió tömörítés dekódolás 24

Klasszifikáció Feladat: tudjuk, hogy x C= a C a, határozzuk meg azt az a-t, amelyre x C a! Megoldás: írjuk fel a részhalmazok teljes közös modelljét! A koordináták lehetnek relevánsak C-re, és minden Cₐ részhalmazra: ezek nem fontosak, csak azt jelzik, hogy a C elemét vizsgáljuk irrelvánsak C-re, és minden Cₐ részhalmazra: ezek nem fontosak, csak azt jelzik, melyik elemét nézzük a részhalmazoknak irrelevánsak C-re, de relevánsak legalább az egyik Cₐ részhalmazra: ezek döntik el, melyik részhalmaz eleméről van szó! pl. a 4 bites példában elég figyelni a ξ₁ és és ξᵢ ₂ koordinátákat. 25

Klasszifikáció Feladat: tudjuk, hogy x C= a C a, határozzuk meg azt az a-t, amelyre x C a! Megoldás: írjuk fel a részhalmazok teljes közös modelljét! A koordináták lehetnek relevánsak C-re, és minden Cₐ részhalmazra: ezek nem fontosak, csak azt jelzik, hogy a C elemét vizsgáljuk irrelvánsak C-re, és minden Cₐ részhalmazra: ezek nem fontosak, csak azt jelzik, melyik elemét nézzük a részhalmazoknak irrelevánsak C-re, de relevánsak legalább az egyik Cₐ részhalmazra: ezek döntik el, melyik részhalmaz eleméről van szó! Klasszifikáció Klasszifikáció releváns releváns koordináták koordináták értéke értéke pl. a 4 bites példában elég figyelni a ξ₁ és és ξᵢ ₂ koordinátákat. 26

Klasszifikáció Feladat: tudjuk, hogy x C= a C a, határozzuk meg azt az a-t, amelyre x C a! Megoldás: írjuk fel a részhalmazok teljes közös modelljét! A koordináták lehetnek relevánsak C-re, és minden Cₐ részhalmazra: ezek nem fontosak, csak azt jelzik, hogy a C elemét vizsgáljuk irrelvánsak C-re, és minden Cₐ részhalmazra: ezek nem fontosak, csak azt jelzik, melyik elemét nézzük a részhalmazoknak Megjegyzés: irrelevánsak C-re, de relevánsak legalább az egyik Cₐ részhalmazra: ezek döntik el, melyik részhalmaz eleméről van szó! Klasszifikáció Klasszifikáció releváns releváns koordináták koordináták értéke értéke minden releváns koordinátának egyeznie kell! pl. a 4 bites példában gyakorlat: elég figyelni acsak ξ₁ és és egy ξᵢ ₂ koordinátákat. (jelenlegi klasszifikációs koordináta) 27

Regresszió Feladat: tudjuk, hogy x C, határozzuk meg, melyik elem az! bx (például: egy ponthalmazról tudjuk, hogy y=a e, adjuk meg a-t és b-t!) Megoldás: írjuk fel a részhalmaz teljes modelljét! a releváns koordináták konstansok minden x C-re irrelváns koordináták különböztetik meg C elemeit! 28 bx y=a e

Regresszió Feladat: tudjuk, hogy x C, határozzuk meg, melyik elem az! bx (például: egy ponthalmazról tudjuk, hogy y=a e, adjuk meg a-t és b-t!) Megoldás: írjuk fel a részhalmaz teljes modelljét! a releváns koordináták konstansok minden x C-re irrelváns koordináták különböztetik meg C elemeit! bx y=a e Regresszió Regresszió irreleváns irreleváns koordináták koordináták értéke értéke 29

Veszteségmentes tömörítés Feladat: tudjuk, hogy x C, mennyi információ elég a meghatározásához? (lényegében ugyanaz, mint a regresszió ) Megoldás: írjuk fel a részhalmaz teljes modelljét! a releváns koordináták konstansok minden x C-re, ezt hardveresen rögzíthetjük irrelváns koordináták alapján meghatározhatók C elemei! 30

Veszteségmentes tömörítés Feladat: tudjuk, hogy x C, mennyi információ elég a meghatárzásához? (lényegében ugyanaz, mint a regresszió ) Megoldás: írjuk fel a részhalmaz teljes modelljét! a releváns koordináták konstansok minden x C-re, ezt hardveresen rögzíthetjük irrelváns koordináták alapján meghatározhatók C elemei! Tömörítés Tömörítés irreleváns irreleváns koordináták koordináták tárolása tárolása 31

Dekódolás Feladat: adjunk meg egy tetszőleges elemet C-ből! Megoldás: írjuk fel a részhalmaz teljes modelljét! A koordináták függetlenek, így a releváns koordináták értékét rögzítsük C-nek megfelelően ξ a irrelvánsak koordináták értékét az eloszlásuk alapján válasszuk ξ b 1 a Ψ : X Z bijekció inverzével hatva x=ψ ( ξ a, ξ b ) C Ψ 32 1

Dekódolás Feladat: adjunk meg egy tetszőleges elemet C-ből! Megoldás: írjuk fel a részhalmaz teljes modelljét! A koordináták függetlenek, így a releváns koordináták értékét rögzítsük C-nek megfelelően ξ a irrelvánsak koordináták értékét az eloszlásuk alapján válasszuk ξ b 1 a Ψ : X Z bijekció inverzével hatva x=ψ ( ξ a, ξ b ) C Dekódolás Dekódolás koordináták koordináták független független megválasztása megválasztása Ψ 33 1

Hány releváns koordináta van? A releváns koordináták száma függ a C halmaztól! C=X (teljes halmaz): minden koorindáta irreleváns (szabadon választható) C={x} (egyetlen elem): minden koordináta releváns (rögzített értékű) C={001,010,100,111}: 1 bit releváns, 2 bit irreleváns C={0001,0011,0110,1110}: 2 bit releváns, 2 bit irreleváns általában: irreleváns bitek száma =log 2 ( C ), a többi releváns bit 35

Hány releváns koordináta van? Bonyolultabb példa: 100x100-as színes kép, rajta legfeljebb 10 négyszög. 10 Az ilyen képek száma: N obj=0 ( 2 2 L1 L2 Nc 2 2 ) N obj 2 486 vagyis 486 irreleváns bit írja le. Az összes bit száma: 240000! A releváns bitek száma tehát 239514. 36

Hány releváns koordináta van? Bonyolultabb példa 100x100-as színes kép, rajta legfeljebb 10 négyszög: 10 Az ilyen képek száma: N obj=0 ( 2 2 L1 L2 Nc 2 2 ) N obj 2 486 vagyis 486 irreleváns bit írja le. Az összes bit száma: 240000! A releváns bitek száma tehát 239514. Kép Kép esetén esetén aa releváns relevánsbitek bitekszáma száma nagyon nagyon nagy! nagy! (ezért (ezérttömöríthetőek) tömöríthetőek) 37

Hány releváns koordináta van? Statisztikus fizika, mikrokanonikus sokaságban előforduló konfigurációk: ergodicitás: minden konfiguráció egyenértékű megengedett konfigurációk, amelyek a megmaradó mennyiségeket (E, V, N) állandónak tartják Releváns koordináták megmaradó mennyiségek: 3 db nem tömöríthető Irreleváns koordináta minden egyéb! Tudományos modellekben: releváns koordináták független kontrollálható/mérhető mennyiségek 38

Mikor lehet tudományos modellt felírni? Ha a független paraméterek jól definiálhatók és nincs túl sok belőlük létezik tudományos modell (algoritmus) Törvények: megfigyelhető mennyiségek kifejezése a független koordinátákkal Ha a releváns koordináták száma nagy vagy rosszul definiálható (pl. gyorsan változnak), akkor nem lehet algoritmizálni képfelismerés/arcfelismerés sakk vs. go előre persze nehéz megmondani, lehet-e csökkenteni a releváns paraméterek számát (hit a tudományban ). 39

Mi történik a tanuláskor (unsupervised learning)? Hogy találhatunk meg egy jó (nem feltétlenül teljes) modellt? tanulás Valódi helyzet: a C halmaz elemeit egyesével ismerjük meg nem tudjuk előre, melyek a releváns és irreleváns koordináták próbamodell: nem tökéletes 41

Tanulás: a próbamodell javítása nem tökéletes modell koordinátája tegyük fel, hogy releváns! tegyük fel, hogy irreleváns! VAGY élesítsük! 42 laposítsuk!

Tanulás: a fogalmak átalakítása Előfordulhat, hogy nem érünk célt a további élesítéssel/laposítással változtassunk a relevancia besoroláson Heuréka! ez a fogalom releváns! 43 Leszámolás a hiedelmekkel: ez a koordináta nem kötött értékű!

A valószínűség eredete Nem teljes modellnél előfordul, hogy a megfigyelt jelenség releváns koordinátáinak értéke nem felel meg egy kategóriának sem. valószínűleg kutya: valószínűségi mérték! (kutyák releváns koordinátája módosítandó) kutyák kutyaszerű új állatcsoport (új releváns koordináták bevezetése)? macskák nem tudom (túl messze vagyunk minden ismert fogalomtól) Ezekhez az opciókhoz több releváns koordináta ismerete kell! 44

Egyéb kérdések Sok egyéb érdekes kérdést lehet feltenni: tanulás és evolúció viszonya a tulajdonságok hierarchiája, és a veszteséges tömörítés renormálás: az irreleváns koordináták ritkításának szisztematikus módszere végtelen (igen nagy) halmaz tanulása, a diszkretizálás hatása, nem ekvivalens világképek kialakulása megértés és látás: a rendszer paramétereinek szerepe, értelmezhetősége, ekvivalens modellek miért gondolkodik mindenki másként a világról?... 45

Konklúzió A megértés matematikai leírásához részhalmazok teljes (közös) modelljének fogalmára van szükségünk: független független releváns releváns vagy vagy irreleváns irreleváns koordináták koordináták (tulajdonságok, (tulajdonságok, fogalmak) fogalmak) Ilyen koordinátákkal a klasszifikáció regresszió tömörítés dekódolás egyszerűen megvalósítható. 47