{simplecaddy code=1004}

Átírás

1 {simplecaddy code=1004} Könyvünk az adatbányászat tevékenységének lépéseit részletesen bemutatva kívánja megismertetni az olvasót, azzal hogy milyen jellegű gazdasági, mérnöki, illetve tudományos problémák megoldásában alkalmazható az adatbányászat, mik az adatbányászatnak, mint tevékenységnek melyek a fő lépései és eszközei, miként lehet eldönteni, hogy egy adott feladat megoldásához milyen adatbányászati eszközt, illetve algoritmust kell alkalmazni, melyek ezeknek az algoritmusoknak a fő paraméterei, hogyan célszerű ezeket megválasztani, illetve a kapott eredmények miként értelmezhetők, milyen speciális megoldásokat követelnek az időbeli változásokat vizsgáló, illetve szövegek elemzését megcélzó feladatok, végül az üzleti életben történő speciális alkalmazások, pl. ügyfélszolgálat menedzsment milyen általánosítható kérdéseket vetnek fel, s e kérdésekre milyen válaszok adhatók. A célkitűzések jól mutatják, hogy e könyv az adatbányászati alkalmazásokat bevezetni, alkalmazni, illetve fejleszteni szándékozó gyakorló gazdasági szakemberek, mérnökök, informatikusok, és a téma iránt érdeklődő egyetemi hallgatók, illetve kutatók részére íródott. A gyakorlatias megközelítésmódot számtalan példa, esettanulmány, alkalmazási sikertörténet ismertetése biztosítja, melyek összeállítása során a magyar informatikai piac üzleti intelligenciával foglalkozó szegmensének sajátosságait is figyelembe vettük. Ezek az információk különösen azok számára hasznosak, akik adattárházat és annak kiaknázására alkalmas rendszert kívánnak kiépíteni. Reményeink szerint az érdeklődő olvasók már a könyv olvasása közben képesek lesznek annak eldöntésére, hogy az őket körbevevő adatok elemzésével miként juthatnak hasznos információkhoz, illetve e "tudásfeltárási'" folyamathoz milyen eszközökre lesz szükségük, és képesek lesznek a könyvben ismertetett eszközökkel megkezdeni ezen munkát. Ezen kezdő lépéseket közismert eszközökön (Microsoft EXCEL, Microsoft ACCESS} és MySQL adatbáziskezelő alapuló példák támogatják. Természetesen egy professzionális felhasználó sokkal többre vágyik mint egymástól elszigetelt demonstrációs céllal készült apró programok sorozata. Munkánk ilyen szempontból is úttörő jellegű, ugyanis ez az első olyan magyar nyelven megjelenő kiadvány, amely a rendkívül hatékony, mindenki számára ingyenesen elérhető, nyitott forráskódú WEKA adatbányászati programcsomagra is támaszkodva ismerteti a tudásfeltárási folyamat lépéseit, lehetőséget teremtve ezáltal az elsajátított ismeretek közvetlen gyakorlati alkalmazására akár Linux, akár Windows környezetben. Azokat az olvasókat, akik a módszerek tudományos szintű megismerésére és fejlesztésére törekednek, könnyen értelmezhető algoritmus leírásokkal, számtalan irodalmi hivatkozás feltüntetésével és MATLAB programokkal kívánjuk segíteni. A könyv jól strukturált felépítésével is megpróbálja kielégíteni az eltérő igényeket. Az első fejezet minden érdeklődő számára hasznos általános bevezető, illetve módszertani ismereteket 1 / 7

2 tartalmaz. A második fejezet az adattárházak létrehozásának és alkalmazásának kérdéseivel foglalkozik. Az ezt követő fejezetek azok számára hasznosak, akik az adatbányászati technikák részleteire kíváncsiak. A kötet egy, a különböző üzleti alkalmazások jellegzetességeit tárgyaló résszel zárul. Több mint 150 ábra és csaknem 50 táblázat segíti a leírtak jobb megértését. A demonstrációs programok és a kapcsolódó oktatási anyagok (PowerPoint bemutatók, példák, feladat leírások, ajánlott irodalom) a könyv honlapjáról tölthetők le: Ezek a segédletek teszik alkalmassá a kötetet, hogy az a felsőoktatásban jegyzetként, illetve ajánlott irodalomként szolgálhasson. E honlapról a könyvre szorosan építő oktatási tematikák is letölthetők, ugyanis a könyv szerkesztője a Veszprémi Egyetem Műszaki Informatika, Gazdasági Informatikus, Műszaki Menedzser, Mechatronika, és Gépész- és Vegyészmérnök B.Sc. és M.Sc. szakjain tárgyfelelős oktató. A szerzők A könyv az Adattárházak és kiaknázásuk egyetemi- és az Adatmodellezés doktori kurzusok négy évre visszamenő oktatási tapasztalata alapján született. Az összegyűjtött irodalom, illetve oktatási anyag tankönyvvé alakításának oroszlánrészét e kurzusok legtehetségesebb hallgatói végezték: Holenda Balázs: Adattárházak és kiaknázásuk Mátyus Péter: Adatok feltáró jellegű elemzése és megjelenítése Tobak Tamás: Osztályozási feladatok Pach Ferenc Péter: Gyakori elemhalmazok és asszociációs szabályok feltárása Kenesei Tamás és Madár János: Regressziós technikák Bankó Zoltán: Idősorok elemzése Túróczi Béla: Ügyfélkapcsolat menedzsment. A szakmai megalapozottság érdekében tapasztalt oktató és kutató kollegák bevonását is megkövetelte az adatbányászat rendkívül széles eszköztárának ismertetése: dr. Fogarassyné Vathy Ágnes: Csoportosítási algoritmusok, Veszprémi Egyetem, Matematikai és Számítástechnikai Tanszék dr. Gyenesei Attila: Gyakori elemhalmazok és asszociációs szabályok feltárása, Department of Knowledge and Data Analysis, Unilever Research Vlaardingen, Hollandia dr. Tikk Domonkos: Szövegbányászat, Budapesti Műszaki és Gazdaságtudományi Egyetem (BME), Távközlési és Médiainformatikai Tanszék. A gyakorlatias megközelítésmód hitelessége a könyv írásában és lektorálásában közreműködő gyakorló adatbányász specialista szakembereknek köszönhető: Fekete Zoltán: Az Oracle Hungary senior üzleti intelligencia és adattárház-szakértője, az Adattárháza és kiaknázásuk, illetve az Ügyfélkapcsolat menedzsment (operatív és analitikus CRM) fejezetek lektorálása Halász István, Robotka Zsolt és Rovnyai János: DSS Consulting Kft, esettanulmányok készítése. Körmendi György és dr. Cseh Zoltán: SPSS Hungary Kft., az adatbányászat módszertanának ismertetése. A könyv tartalomjegyzéke 1. Bevezetés 1.1. Miért kell menedzselni a tudást, illetve az adatokat? 1.2. Adatbányászat, mint a tudásmenedzsment eszköze Az adatbányászat definíciója 2 / 7

3 Az adatbányászat mint tanulás Adatbányászati technikák 1.3. Adatbányászat módszertana A tudásfeltárás folyamata A módszertanok kialakulása Az üzleti cél definiálása és értelmezése A szükséges illetve rendelkezésre álló adatok megismerése Adatkezelés, adattranszformációk végrehajtása Adatbányászati modellek alkotása Az eredmények üzleti szempontú kiértékelése Az adatbányászati eredmények üzleti alkalmazása Ami a módszertanon túl van az adatbányászat csupán eszköz 1.4. Adatelemző eszközök Általános áttekintés WEKA Excel és alkalmazásai Alkalmazott adatsorok 2. Adattárházak és kiaknázásuk 2.1. Az adattárház fogalma Hogy kerül az adat az adattárházba? Adatstruktúrák 2.2. Adattárház és heterogén adatbázisok Az OLAP kritériumai Az OLTP és az OLAP Adattárházak alkalmazása 2.3. A többdimenziós adatmodell A dimenziók hierarchiaszintjei Műveletek a többdimenziós adatmodellen Hatékony adatkocka-kezelés A csillagséma modell A hópehelyséma modell A galaxisséma modell 2.4. Gyakorlati példa: OLAP-kocka létrehozása MS Excelben Adatelérés ODBC használatával Az OLAP-kocka létrehozása OLAP-műveletek 2.5. Adattárházak tervezése Az architektúra megválasztása Implementációs modellek Implementációs módszer kiválasztása Adattárház létrehozásának folyamata 3. Adatok feltáró jellegű elemzése és megjelenítése 3.1. Adatok előfeldolgozása Adattípusok Adattisztítás Inkonzisztencia 3 / 7

4 Inkompatibilitás Redundancia Zaj 3.2. Adatok felkészítése Transzformálás Fontos ismérvek kiválasztása Adatredukció számosságcsökkentéssel 3.3. Adatok megjelenítése Pont diagram, vonal diagram - grafikon Oszlop, sáv diagram Kör diagram 3.4. Feltáró jellegű adatelemzés Hisztogram Doboz diagram Kvantilis ábra 3.5. Több változó együttes megjelenítése és elemzése Kvantilis-kvantilis ábra Pontdiagram mátrix Párhuzamos koordináták 3.6. Adatredukció dimenzió-csökkentéssel 4. Csoportosítás (klaszterezés) 4.1. Motiváció 4.2. Csoportok (klaszterek) 4.3. Objektumok, hasonlósági mértékek Folytonos értékek különbözősége, hasonlósága Kategorikus adatok különbözősége, hasonlósága Vegyes típusú változó különbözősége, hasonlósága, és az attribútumok súlyozása Csoportokra jellemző távolságok 4.4. Hierarchikus módszerek Egyesít o hierarchikus módszerek Felosztó hierarchikus módszerek 4.5. Partícionáló módszerek A k-átlag és a k-medoid algoritmusok 4.6. Fuzzy módszerek Fuzzy csoportok A fuzzy c-átlag csoportosítás 4.7. Mesterséges neuronhálós módszerek Önszervez od o hálózatok szerkezete, tanítása, ábrázolása Önszervez od o hálózatok szerepe a csoportosításokban 4.8. Egyéb csoportosítási módszerek, algoritmusok 4.9. Gyakorlati alkalmazások szoftveres megvalósításai Csoportosítás a WEKA program használatával Csoportosítás a Hierarchical Clustering Explorer használatával 5. Osztályozási feladatok 5.1. Mik az osztályozási feladatok? Az osztályozási módszerekről 4 / 7

5 Az osztályozási feladatok lépései 5.2. Döntési fák Döntési fák elkészítése Az információnyereség elve Gini index A felépített fa tisztítása 5.3. Bayes-modell alapú osztályozás A naiv Bayes-osztályozás Bayes-féle hihetőségi hálók 5.4. A k-legközelebbi szomszéd technika 5.5. Osztályozási modellek pontossága A pontosság növelésének lehetőségei Egyéb mérőszámok Tanulás és tesztelés 6. Gyakori elemhalmazok és asszociációs szabályok feltárása 6.1. Alapfogalmak 6.2. Gyakori elemhalmazokat feltáró algoritmusok jellemzői Jelölt keresési módszerek Gyakoriság számlálási technikák 6.3. Nevezetesebb algoritmusok bemutatása Szintenként haladó algoritmusok Mélységben haladó algoritmusok 6.4. Gyakori elemhalmazok kompakt képviselete Maximális gyakori elemhalmazok Zárt gyakori elemhalmazok 6.5. Asszociációs szabályok feltárása Érvényes asszociációs szabályok előállítása A szabályok korlátai Érdekességi mutatók - asszociációs szabályok kiválasztása 6.6. A gyakori elemhalmazok és asszociációs szabályok különböző típusai Mennyiségi asszociációs szabályok Többszintű asszociációs szabályok 6.7. Gyakorlati példa Szabálykeresés a Weka programmal Kutatási célra hozzáférhető algoritmusok 6.8. Irodalom 7. Regressziós technikák 7.1. Lineáris regresszió 7.2. Regresszió eredményének értékelése 7.3. Reguralizált regresszió 7.4. Nemlineáris regresszió Paramétereiben lineáris regresszió Interpoláció spline-okkal Radiális bázisfüggvények Mesterséges neurális hálózatok Paramétereiben nemlineáris regresszió 5 / 7

6 8. Idősorok elemzése 8.1. Az idősorok és tulajdonságaik Az idősorok számítógépre vitele Egyéb tulajdonságok 8.2. Idősorok jellemzése egyszerű mutatókkal 8.3. Az idősorok dekompozíciója Trendelemzés - tervezzünk hosszú távra Szezonális mozgások - télen kevesebb jégkrém fogy A ciklikus komponens meghatározása Összefoglalás 8.4. Idősorok távolsága Az Euklideszi távolság problémái 8.5. Dinamikus idővetemítés 8.6. Indexelési lehetőségek Diszkrét Fourier-transzformáció Diszkrét Wavelet Transzformáció Indexelés DTW-vel 9. Szövegbányászat 9.1. A szövegbányászat feladata 9.2. Dokumentumok előfeldolgozása A dimenziószám csökkentése Hatékonyság mérése 9.3. Osztályozás Osztályozás strukturálatlan kategóriák rendszerébe Hierarchikus osztályozás 9.4. Dokumentumok csoportosítása Szövegklaszterezés jellemző feladatai és problémái Reprezentáció 9.5. Kivonatolás Az összegzéskészítő eljárások felosztása A kivonatolás hatékonyságának mérése Mondatkiválasztásnál használt jellemzők A módszerekről röviden 9.6. Egyéb szövegbányászati feladatok Információkinyerés Témakövetés Fogalomtársítás Szöveges információk vizualizálása Kérdés-megválaszolás Nyelvfeldolgozás és szövegbányászat Szövegbányászat magyarul 9.7. Szövegbányászati szoftverek ismertetése 10. Ügyfélkapcsolat menedzsment Az ügyfélkapcsolat menedzsment alapjai Az ügyfélkapcsolat menedzsment fogalma A CRM folyamata 6 / 7

7 10.2. Alkalmazások Ügyfélszegmentáció Ügyfélérték számítás Ügyfelek lojalitása Keresztértékesítés Kampánymenedzsment Példa a CRM alapú működés bevezetésére egy hazai kereskedelmi bankban 7 / 7