Intelligens adatelemzés

Átírás

1 Antal Péter, Antos András, Horváth Gábor, Hullám Gábor, Kocsis Imre, Marx Péter, Millinghoffer András, Pataricza András, Salánki Ágnes Intelligens adatelemzés Szerkesztette: Antal Péter A jegyzetben az adatelemzés folyamata szerint ismertetünk intelligens megközelítéseket, amelyekben az intelligencia a felhasznált háttértudás, a számítási erőforrások vagy a modellek komplex volta miatt is jelenik meg. Budapesti Műszaki és Gazdaságtudományi Egyetem Semmelweis Egyetem Typotex Kiadó 2014

2 Copyright: , Kocsis Imre, Horváth Gábor, Hullám Gábor, Millinghoffer András, Antal Péter, Marx Péter, Antos András, Salánki Ágnes, Pataricza András, Budapesti Műszaki és Gazdaságtudományi Egyetem, Semmelweis Egyetem Creative Commons NonCommercial-NoDerivs 3.0 (CC BY-NC-ND 3.0) A szerző nevének feltüntetése mellett nem kereskedelmi céllal szabadon másolható, terjeszthető, megjelentethető és előadható, de nem módosítható. Lektorálta: Takács Gábor Készült a Typotex Kiadó gondozásában Felelős vezető: Votisky Zsuzsa ISBN Készült a TÁMOP-4.1.2/A/1-11/ számú, Konzorcium a biotechnológia és bioinformatika aktív tanulásáért című projekt keretében.

3 Tartalomjegyzék 1. Aktív tanulás Bevezetés: becslés, döntés, felügyelt (passzív) tanulás Bayes-döntés Bayes-döntés közelítése Bayes-becslés Regressziós becslés; négyzetes középhiba minimalizálás Aktív tanulás fogalma Véges sok középérték aktív tanulása Megvalósítási lehetőségek GAFS algoritmus Dimenzióredukció Absztrakt Kulcsszavak: Bevezetés A dimenzió átka A dimenzióredukció alkalmazási területei Főkomponens-analízis (PCA, KLT) Főkomponens- és altér-meghatározó eljárások Nemlineáris dimenzióredukciós eljárások Kernel PCA Nemlineáris altér algoritmusok Irodalom Ritka események detektálása Anomáliák és ritka események Detektálási megközelítések Távolság alapú módszerek Sűrűség alapú módszerek Hiányos adatok Bevezetés A hiányzás típusai

4 Tartalomjegyzék Hiányos adatok kezelése Teljes eset módszer Ad-hoc módszerek Súlyozás Pótlás Többszörös pótlás Vizuális analízis Felderítés, megerősítés és szemléltetés Egydimenziós diagramok A doboz-ábra Hisztogram Kétdimenziós diagramok n-dimenziós diagramok Mozaik és fluktuációs diagram A párhuzamos koordináta ábra Eszköztámogatás Interaktív statisztikai grafika Lekérdezések Helyi interakciók Kiválasztás és csatolt kijelölés Csatolt analízis Összefoglalás Monte-Carlo-módszerek, Bayesi modellátlagolás, Bayesi predikció Monte-Carlo-integrálás Közvetlen mintavételezés Elutasító mintavételezés Fontossági mintavételezés Markov-láncok Metropolis Hastings-algoritmus A Metropolis Hastings-algoritmus alesetei Gibbs-mintavételezés Többláncos MCMC Reversible jump MCMC Konvergencia Konvergencia tényének vizsgálata Mintavételezés hatékonysága Alkalmazás Bayes-hálókban Bootstrap-módszerek Ensemble-módszerek áttekintése A bootstrap alapjai

5 Tartalomjegyzék További aspektusok Adatmodell Konfidencia becslések Permutációs teszt és hipotézistesztelés Kernel technikák az intelligens adatelemzésben Bevezetés Kernelek konstrukciója Leggyakrabban használt kernel függvények Műveletek kernelekkel Prior információ hozzáadása Tanító halmaz bővítése Prior információ kernelbe ágyazása Kernelek gráfokra Diffúziós kernelek Adatbázisok Jelölések Valószínűségi Bayes-hálók tanulása Paramétertanulás Rejtett Markov Modellekben Paramétertanulás RMM-ekben ismert állapotszekvenciák esetében E-M alapú paramétertanulás RMM-ekben ismeretlen állapotszekvenciák esetében Naiv Bayes-hálók tanulása A bayesi feltételes modellezés Bayes-hálók tanulása feltételes modellként Naiv Bayes-hálók teljesítménye osztályozásban és regresszióban Naiv Bayes-hálók kiterjesztései Teljes modellátlagolás NBN-ek felett Egy információelméleti pontszám Bayes-háló tanulásához Oksági Bayes-hálók tanulása Bayesi következtés és tanulás rögzített oksági struktúra esetén A prekvenciális modellkiértékelés Általános és valószínűségi előrejelző rendszerek vizsgálata Bayes-hálók prekvenciális vizsgálata Oksági struktúrák tanulása Kényszer alapú struktúratanulás Pontszámok oksági struktúrák tanulására Az optimalizálás nehézsége struktúratanulásban