Az OLAP technológia Az OLAP kialakulása: Az OLAP technológia 1970-es évek igény a nagy mennyiségű adat hatékony tárolására, elérésére és az aktuális állapot feldolgozására. Adatok tárolása : relációs adatbázis rendszerekben. Adatfeldolgozás: OLTP segítségével on-line tranzakció-feldolgozás (On-line Transaction Processing) 1
Az OLAP kialakulása: Az OLAP technológia 1990-es évek igény jelentkezik a múltbeli események elemzése alapján a jövőben várható folyamatok megtervezésére. Adatok tárolása: adattárházakban (adatáruházakban). Elemzés megvalósítása: OLAP segítségével on-line elemző-feldolgozás (On-line Analytical Processing) Az OLAP kialakulása: Az OLAP technológia E.F.Codd (USA) használta először az OLAP kifejezést 1992-ben megjelent cikkében vezeti be az OLAP fogalmát. Az OLAP legfontosabb ismérve: multidimenzionális adatstruktúrát használva lehetővé teszi az adatok gyors és rugalmas lekérdezését, majd ezt követően az adatok analízisét. 2
Az OLAP kritériumai (E.F.Codd (USA),1992) 1. Multidimenzionális nézet : több dimenziós adatmodell, amely lehetővé teszi a felhasználói igények szerinti műveletek végrehajtását. 2. Transzparencia (áttekinthetőség): az eredmény a technikai részletek ismerete nélkül is könnyen áttekinthető legyen. 3. Elérhetőségek (jogosultságok) beállításának lehetősége. 4. Állandó lekérdezési (riportozási) teljesítmény: a felhasználó ne tapasztaljon jelentős teljesítmény csökkenést az adatbázis méretének növelésével, a dimenziók számának növelésével. Az OLAP kritériumai (E.F.Codd (USA),1992) 5. Kliens-szerver architektúra: az adattárházak esetében előforduló hatalmas adattömeget nagy teljesítményű szerverek tárolják. 6. Általános dimenzió fogalom: a dimenzióknak struktúrájukban azonosaknak kell lenniük. 7. Dinamikus ritkamátrix-kezelés (sparsity): biztosítani kell az adatmodelleknél előforduló ritkamátrixok (nem teljesen kitöltött) optimális kezelését. 8. Többfelhasználós üzemmód támogatása: biztosítani kell a konkurrens (versenyző) elérést, az adatok integritását, védelmét. 3
Az OLAP kritériumai (E.F.Codd (USA),1992) 9. Korlátozás nélküli dimenzió-műveletek: a dimenziók közötti műveletek minden formáját meg lehessen valósítani. 10. Intuitív adatkezelés: a felhasználók számára az adatok manipulálása közvetlenül (segédeszköz nélkül) a megjelenítési felületen megvalósítható legyen. 11. Rugalmas jelentés (riport) készítés: támogatott legyen az adatok különféle megjelenítése. 12. Korlátlan dimenziószám és aggregációs szint szám: az OLAP eszköz legyen képes tetszőleges számú dimen-zió és hierarchia szint kezelésére. (valóság:20 ill. 15) Újabban az elvárások összességét a FASMI betű szóval adják meg. (Fast Analysis of Shared Multidimensional Information) Felhasználó elvárása: gyors (fast) elemzés (analysis), amelyhez semmilyen, vagy csak minimális programozásra legyen szükség, megosztott (shared) legyen az OLAP eszköz és többdimenziós (multidimensional) adatstruktúrát használjon. 4
Legfontosabb eltérések az OLTP és az OLAP között: 1. OLTP ügyfélorientált, OLAP piac orientált. Ügyfélorientált: vállalat ügyintézői használják, tranzakciók, lekérdezések végrehajtására. Piac orientált: döntéshozók és az őket segítők használják az adatok elemzésére. 2. OLTP a vizsgált terület aktuális állapotát leíró adatokat tartalmazza (döntéshozatalhoz túl részletes), OLAP nagy mennyiségű, rendben archivált adatokat kezel (adatokat különböző szinteken összegezve tárolja). Legfontosabb eltérések az OLTP és az OLAP között: 3. Adatok származása szerint OLTP egyetlen adatforrásra épít, OLAP különböző adatforrások adatait integrálja. 4. Rendszerhez való hozzáférés szerint az OLTP rendszereknél a szokásos működési mód a több, konkurrensen futó rövid ideig tartó, elemi tranzakció ezek főleg adatmódosítási műveleteket tartalmaznak. Az OLAP rendszereknél általában csak olvasó (readonly) műveletek vannak- ezek komplex lekérdezések. 5
Az OLTP és az OLAP összehasonlítása Tulajdonság OLTP OLAP funkció operatív feldolgozás döntéstámogatás felhasználó ügyintéző elemző használat rendszeresen ismétlődő alkalmi adatok naprakész történeti összegzés szintje nagyon részletes összesített elérés írás/olvasás főleg olvasás elért rekord szám tízes nagyságrend milliós nagyságrend felhasználók száma ezres nagyságrend százas nagyságrend adatbázis méret 100 MB-tól 100 GB-tól teljesítmény mutató tranzakciós lekérdezési A többdimenziós adatmodell Többdimenziós (multidimenziós) adatmodell Az OLAP igényeinek megfelelő adatmodell. Adatmodell, amely úgy tárolja az adatokat, hogy könnyen le lehessen kérdezni a különböző mennyiségek közötti kapcsolatokat. A multidimenzionális adatmodell az adatokat adatkockában tárolja. 6
A multidimenziós adatkocka Az adatkocka jellemzői: az adatkocka éleihez rendelt dimenziók az elemzés szempontjából lényeges nézőpontok, az adatkocka celláiban tárolva a tények számértékei (measure) az elemezni kívánt mennyiségek valamilyen mértékegységben. Konkrét példa: Vizsgáljunk egy kereskedelmi vállalatot. Itt az elemzés szempontjából fontos téma lehet az értékesítés. Az elemzés szempontjából lényeges nézőpont, dimenzió lehet az, az árucikk, az, a szállító, tényérték lehet az értékesített darabszám, vagy az értékesítés pénzben megadva. ( Ezekkel lehetővé válik pl. annak vizsgálata, hogy az egyes árucikkek esetében hogyan alakult a negyedéves forgalom, mely városokban volt egy adott negyedévben kimagasló forgalom egy adott árucikkből.) 7
(negyedév) (negyedév) (negyedév) (negyedév) Háromdimenziós adatkocka (város) V1 IV. III. II. I. V2 V3 V4 176 190 109 42 193 185 123 32 185 174 101 22 154 145 79 46 169 415 201 56 176 203 150 43 T1 T2 T3 T4 árucikk (termék név) 165 206 135 61 56 45 38 67 59 72 39 48 52 Dimenziók: árucikk Tényérték: értékesített darabszám A négydimenziós kocka (szállítók a negyedik dimenzió)- három dimenziós kockák sorozata. V2 V1 (város) IV. V4 V3 szállító 1 szállító 2 szállító 3 V2 V1 (város) IV. V4 V3 V2 V1 (város) IV. V4 V3 III. II. I. III. II. I. III. II. I. T1 T2 T3 T4 árucikk (termék típus) T1 T2 T3 T4 árucikk (termék típus) T1 T2 T3 T4 árucikk (termék típus) 8
A kockák különböző összegzési szinteken tartalmazhatják az adatokat ezek a részkockák. Dimenziók ismeretében megadható a részkockák hálója. Alapkocka- legalacsonyabb szintű az adatok összegzése. Csúcskocka- az összegzés legmagasabb szintje, ez egyetlen adat. A közbülső szinteken levő részkockák adják az alapkövetelményben megfogalmazott aggregált adatokat. Részkockák hálója három dimenzió esetén minden 0D csúcs kocka idõ árucikk 1D rész kockák 2D rész kockák, idõ, árucikk idõ, árucikk 3D alap kocka, idõ, árucikk 9
Dimenzió hierarchiák Hierarchia: leképezés sorozat egy adott dimenzió mentén alacsonyabb szintű fogalmaktól (város) a magasabb szintű, általánosabb fogalmakig (kontinens) haladunk. Pl.: egy természetes hierarchia nap<hét<hónap<negyedév<év Dimenzió hierarchiák kontinens év ország negyedév megye hónap hét város nap 10
(negyedév) (hónap) (negyedév) (negyedév) Műveletek a többdimenziós adatkockán Felgörgetés (roll up) (város) V1 IV. V4 V3 V2 (megye) M2 M1 IV. III. II. I. felgörgetése (városról megyére) III. II. I. T1 T2 T3 T4 árucikk (termék típus) T1 T2 T3 T4 árucikk (termék típus) Műveletek a többdimenziós adatkockán Lefúrás (drill down) (város) V1 IV. III. II. I. V4 V3 V2 T1 T2 T3 T4 árucikk (termék típus) lefúrás az mentén (negyedévről hónapra) (város) V4 V3 V2 V1 XII. XI. X. XI. VIII. VII. VI. V. IV. III. II. I. T1 T2 T3 T4 árucikk (termék típus) 11
(negyedév) (negyedév) (negyedév) (város) Műveletek a többdimenziós adatkockán Szeletelés és kockázás (slice and dice) V2 V1 (város) IV. V4 V3 V4 III. II. I. szeletelés (termék típus=t2) V3 V2 V1 T1 T2 T3 T4 árucikk (termék típus) I. II. III. IV. (negyedév) Szeletelés a termékmenedzser szempontjából Műveletek a többdimenziós adatkockán Szeletelés és kockázás (slice and dice) (város) V1 IV. V4 V3 V2 IV. III. II. I. szeletelés (=V4) III. II. I. T1 T2 T3 T4 árucikk (termék típus) T1 T2 T3 T4 árucikk (termék típus) Szeletelés a területi menedzser szempontjából 12
(város) (negyedév) (negyedév) (negyedév) Műveletek a többdimenziós adatkockán Szeletelés és kockázás (slice and dice) V2 V1 (város) IV. III. V4 V3 (város) V2 V3 II. I. kockázás (termék típus=t3 vagy T4) és (negyedév=ii. vagy III.) és (város=v2 vagy V3) III. II. T1 T2 T3 T4 árucikk (termék típus) T3 T4 árucikk (termék típus) Műveletek a többdimenziós adatkockán Forgatás (pivot) V4 IV. V3 V2 V1 forgatás (tengelyek felcserélése) III. II. I. I. II. III. IV. (negyedév) V1 V2 V3 V4 (város) 13
Hatékony adatkezelés Nagymennyiségű adatból rövid alatt választ kell adni a lekérdezésre elengedhetetlen a hatékony adattárolás. Összetevői: aggregált adatok kezelése és az adatkocka ritkaságának kezelése. Aggregált adatokat a részkockák tartalmazzák. Részkockák előre kiszámítása és tárolása jelentősen lerövidíti a válaszket. Mennyi részkocka legyen? Részkockák száma: n ( L i i 1 1) (Ahol n-dimenzió szám, L i - i-dik dimenzióhoz tartozó szintek száma.) Pl. 10 dimenzió esetén, dimenziónként 4 szintnél a részkockák száma 5 10 ~ 10 7. Összes részkocka előszámítása és eltárolása nem reális. A nagyon nagy tárhely igény mellett az is előfordulhat, hogy a kiszámított részkockák közül számosat egyáltalán nem is fognak a lekérdezések során használni. Ésszerű kompromisszum: részleges megvalósítás. Részkockák csak egy részhalmazát hozzák létre, vagy egyegy hierarchiában nem minden szintet számítanak ki. A kiszámításra kerülő részkockák kiválasztásánál célszerű figyelembe venni az előforduló lekérdezéseket, azok gyakoriságát. 14
Ritkaság figyelembevétele: üres cellákat nem tárolunk. Pl. Ha 100 termék eladását vesszük 4 megyében, megyénként 5-5 városban (24 dimenzió elem) éves, negyedéves és havi adatok (17 dimenzió elem) esetében, akkor ez 100*24*17=40800 adatcellát jelent. Mivel valószínű nem minden termék kerül eladásra minden szakban, ezért sok adatcella üres lesz. Ha ezeket az üres cellákat nem tároljuk, akkor jelentős tárterület takarítható meg. Egyes multidimenzionális adatbázis kezelők tartalmaznak ún. ritka mátrix algoritmust, amely a kocka szerkezetéből megpróbálja a nem használt részeket kiszűrni. Sémák a multidimenzionális adatmodellhez Adatok fizikai tárolása: ROLAP (relációs OLAP) rendszerben, MOLAP (multidimenzionális OLAP) rendszerben, HOLAP (hibrid OLAP) rendszerben történhet. Leggyakrabban alkalmazott rendszer ROLAP A ROLAP rendszerekben az adatok tárolása hagyományos relációs adatbázis kezelővel történik. Gyakori alkalmazása rugalmasságának, a relációs adatbázis-kezelők viszonylagos olcsóságának és megbízhatóságának, és a relációs tárolási technika elterjedtségének köszönhető. 15
Csillagséma (star schema) Nevét alakjáról kapta csillaghoz hasonlító sémagráf Középen helyezkedik el egy nagy méretű, redundáns adatokat nem tartalmazó központi táblázat (a ténytáblázat), amely meghatározza a többdimenziós modell dimenzióit és ezt veszik körül a kisebb dimenziónként egy táblázatok (a dimenzió-táblázatok). Példa a csillag sémára: egy kereskedelmi cég értékesítési adatait tartalmazza, ha az értékesítést 3 dimenzió, hely, árucikk mentén tekintjük. Csillagséma az értékesítési adatokhoz dimenziótáblázat értékesítés ténytáblázat dimenziótáblázat eladás_helye_kulcs város megye ország kontinens eladás_értéke _kulcs eladáshelye_kulcs árucikk_kulcs _kulcs nap hónap negyedév év árucikk_kulcs árucikk_név árucikk_típus árucikk_szállító árucikk dimenziótáblázat 16
Csillagséma (star schema) Előnye: - egyszerű adatmodell - használata kevés tábla olvasását igényli, - kevés join adatbázis műveletet igényel, - a modell metaadatai (adatokat leíró adat) egyszerűek. Hátránya: - az aggregált adatok nehézkes képzése, - a redundáns adattárolás, - nagy dimenzió táblák esetén a hierarchia kezelés lassú lekérdezést eredményezhet. Konszolidált csillagséma: az a speciális csillagséma, amikor a központi ténytáblában aggregált adatokat is tárolnak. Hópehelyséma (snowwflake schema) Nevét alakjáról kapta hópehelyhez hasonlító sémagráf A csillagséma egy változata a ténytáblához közvetlenül csatlakozó dimenzió tábla további altáblákra van osztva. Ezzel lehetővé válik a dimenzió táblák normalizálása. Példa a csillag sémára: egy kereskedelmi cég értékesítési adatait tartalmazza, ha az értékesítést 3 dimenzió, hely, árucikk mentén tekintjük. 17
Hópehelyséma az értékesítési adatokhoz dimenziótáblázat értékesítés ténytáblázat dimenziótáblázat megye_kulcs megye ország kontinens eladás_helye_kulcs város megye_kulcs megye dimenziótáblázat árucikk dimenziótáblázat eladás_értéke _kulcs eladáshelye_kulcs árucikk_kulcs árucikk_kulcs szállító_kulcs árucikk_név árucikk_típus _kulcs nap hónap negyedév év szállító_kulcs szállító_típus szállító_név szállító dimenziótáblázat Hópehelyséma (snowwflake schema) Előny: - a szükséges tárhely csökkenése, - a redundancia megszüntetése, vagy mindenképpen a csökkentése Hátrány: - a táblák számának növekedése miatt növekedhet az adatlekérdezések bonyolultsága, - egy lekérdezés végrehajtásához több összekapcsolás műveletre (join) lesz szükség. 18
Elemzési folyamat az OLAP segítségével Egy amerikai, ruházati cikkeket forgalmazó kereskedelmi vállalat 13 városban rendelkezik üzletekkel. Ismertek a cég 1999-2001 években történt eladásaira vonatkozó adatok. A cég vezetői értékelik és elemzik a 3 éves periódus eladásait. Céljuk a három legnagyobb eladási bevételt elért termék-vonalnál vizsgálni az eladási folyamatokat, különös tekintettel az esetleges eladási visszaesésekre, ha szükséges, javaslatot tenni bizonyos termékek értékesítésének megszüntetésére. Az elemzésre használt részkocka jellemzői: A részkocka dimenziói: hét (week) < hónap (month) < negyedév (quarter)< év(year) város(city) < régió (regio) < állam (state) termék SKU fajta (SKU desc )) < kategória (category) < termék vonal ( lines). A tényérték: eladás bevétele $-ban (sales revenue). 19
Sw ea t-t-shirts Accessories Shirt Waist Az elemzés menete Kiinduló adatok: régiónként a 3 TOP termék eladási értéke éves bontásban. Mivel beli változás vizsgálata a cél, alakítsuk a táblázatot át ennek megfelelően, a táblázat csak évenkénti bontásban mutassa az eladási értékeket! (pivot műveletet és egy felgörgetés) Az elemzés menete. $8000000,0 $7000000,0 $6000000,0 $5000000,0 $4000000,0 $3000000,0 $2000000,0 $1000000,0 $0,0 2001 2000 1999 A tendenciák jobban látszanak, de még szemléletesebben látszanak egy diagramban. 20
Accessories Sw ea t-t-shirts Shirt Waist Sw ea t-t-shirts Accessories Shirt Waist Az elemzés menete $8000000,0 $7000000,0 $6000000,0 $5000000,0 $4000000,0 $3000000,0 $2000000,0 $1000000,0 $0,0 2001 2000 1999 A legszembetűnőbb az, hogy a kellékek (Accessories) esetén 2000 kimagasló értékesítése után 2001-ben nagyon lecsökkent az eladás. Nézzük meg, mi történt 2000-ben. Fúrjunk le az dimenzión egy szinttel lejjebb, lássuk az adatokat negyedéves bontásban. Az elemzés menete $3000000,0 $2500000,0 $2000000,0 $1500000,0 $1000000,0 $500000,0 $0,0 Q1 Q2 Q3 Q4 Itt az látszik, hogy a kellékeknél negyedévről negyedévre folyamatosan csökken az értékesítés. Adjuk meg, hogy a kellékeken belül mi a felelős a csökkenésért. Folytassuk ezért vizsgálatainkat áttérve egy másik, a termék dimenzióra.(kereszt-fúrás) 21
9cm Gold Brooch Be ll N ecklace Ch ain an d P earl Ne ckla ce Diam ond Pendant Earrings Double Ball and Chain Necklace Go ldset P ea rl N ecklace Je t an d P ea rl N ecklace Jet Pearl Choker Large Silver Bracelet M ulticolo red Pea rl N ecklace Pe arl and Flo we r N ecklace Pearl Pendant Necklace Rigid Ball Ne cklace Rigid Tw isted Knot Bracelet Rounded Rectangle Brooch Sm all Pe arl D ro plet Ne ckla ce Stole and Fe ath er B oa Se t Tortoiseshell Brooch Q4 Q1 Be lts, bag s,w alle ts H air a cce sso rie s H ats, gloves, sca rve s Je we lry Lounge w ear Q4 Q3 Q2 Q1 Az elemzés menete $1800000,0 $1200000,0 $800000,0 $400000,0 $0,0 Az újabb fúrás után jól látható a felelős, ez pedig az ékszer (Jewerly) kategória. Ezen a dimenzión folytatva a vizsgálódást, egy szinttel lejjebb fúrva további részleteket deríthetünk ki. Az elemzés menete $1 200 000 $1 000 000 $800 000 $600 000 $400 000 $200 000 $0 Az ékszeren belül nagyon sok típus van, ezek közül látható, hogy kevés az, ahol tényleg lényeges csökkenés történt az eladásokban. Szűrjük le azokat a típusokat, amelyek az eladási érték felső 10%-át adják. 22
Ca lifo rnia Co lorado DC Flo rid a Illinois Ne w York Te xas Q4 Q3 Q2 Q1 E-Wa tch Rounded Rectangle Brooch Jet Pearl Choker Q4 Q3 Q2 Q1 Az elemzés menete $1 200 000 $800 000 $400 000 $0 Összegezve: vizsgálódásunkat azt állapíthatjuk meg, hogy egy óratípus (E-watch) az, amelynek vásárlása drasztikusan visszaesett. De vajon területileg hogyan alakult ennek a terméknek a forgalma? Az elemzés menete $300 000 $250 000 $200 000 $150 000 $100 000 $50 000 $0 Dimenziót váltva, az eladás helyét nézve ennek a terméknek minden államban igen jelentősen visszaesett a forgalmazása. Javaslat: a termék további forgalmazásának megszüntetése. 23
Business Objects döntéstámogató rendszer A Business Objects mint vállalat Business Objects szoftverfejesztő vállalat Az Üzleti Intelligencia területén iparágvezető SAP felvásárolta 2007- ben. A SAP előtti kben: Világszerte 80 országban több mint 39000 ügyfelet tudhatott magáénak, beleértve a világ vezető 500 vállalatának 80%-át is. Magyarországi ügyfelek: (a teljesség igénye nélkül) Vodafone Rt, Magyar Nemzeti Bank, Fundamenta Lakáskassza Rt, az ING Rt, British American Tobacco Rt, Unilever és a Winterthur. 24
A BusinessObjects mint termék A BusinessObjects döntéstámogató rendszer képes lefedni az üzleti intelligencia folyamatok egész spektrumát. A rendszer lehetővé teszi: -a vállalat különböző formátumban, különböző módon tárolt, elemzésre szánt adatainak összefogását, -az adatoknak az üzleti életben használt, vállalat specifikus fogalomrendszerrel való helyettesítését, -az így kialakult fogalmakon keresztüli lekérdezését, precíz megjelenítését, elemzését, -a vállalat stratégiáját meghatározó fő mutatószámok kezelését. Szemantikus réteg kialakítása Szemantikus réteg elsőként való alkalmazása képes közérthető módon leképezni és ábrázolni a végfelhasználók számára a bonyolult adatbázis szerkezetet, azaz a megszokott üzleti nyelvet használhatják a felhasználók a szoftver alkalmazása során Szemantikus réteg megvalósítása univerzum létrehozás. A jó lekérdezések - a pontos riportok érdekében az univerzum tervezésének, készítésének és tesztelésének kiemelkedő szerepe van! 25
Mit nevezünk univerzumnak és mi a tartalma? Az univerzum egy olyan meta adatbázis, amely tartalmazza: - az adatbázis kapcsolat paramétereit, - az osztályokba sorolt, objektumoknak nevezett végfelhasználói fogalmakat, amelyek reprezentálják az adatbázis tartalmat, - és az adatbázis táblákat a közöttük levő kapcsolatokkal (séma). Univerzumok létrehozása Felhasználói információ igények felmérése: azonosítani kell a leendő felhasználói csoportokat tudni kell, hogy munkájuk során milyen információt igényelnek, milyen riportokat, lekérdezéseket készítenek ehhez igazodva kell az egyes univerzumokhoz az adatbázis táblákat hozzárendelni. A vállalati adatbázist egy vagy több univerzummal lehet lefedni. Pl.: humán erőforrás részleg számára készülőbe csak a dolgozókkal kapcsolatos adatokat tartalmazó táblák kell hogy tartozzanak. Eszközei: Designer, Universe Builder, Business View Manager modulok. 26
A riport készítés folyamata: Vezető Lekérdezés Adatforrás Riport Mikrokocka Eredmény 27
Riportálás, lekérdezés, elemzés Eszközei: Desktop Intelligence :lekérdező, elemző modul. WebIntelligence :előző modul funkcionalitását nagymértékben lefedő, de weben keresztül elérhető. OLAP Intelligence: többdimenziós adatforrások közvetlen elérhetőségét teszi lehetővé. Crystal Reports :új elemző eszköz (különböző filozófiát követve elégítik ki a felhasználói igényeket ) Riportálás, lekérdezés, elemzés Desktop Intelligence, WebIntelligence, OLAP Intelligence: Ezen eszközök riportáló, elemző eszközei inkább a végfelhasználó általi adatmanipulációt helyezik előtérbe. A felhasználó által megnyitott riport néhány kattintással, drag and drop módszerrel tovább formázható, a riport kezdeti szerkezete akár teljes mértékben átalakítható. Crystal Reports : Ez az eszköz kimondottan a pixel pontos, nyomtatásra szánt riportok készítésére helyezi a hangsúlyt, emellett hyperlinkek és speciális szerkezet kialakításával támogatja a riportokban kiépíthető dinamizmust, webes felületen történő látványos kezelhetőséget is. 28
Desktop Intelligence WebIntelligence 29
Riport készítése Crystal Reports eszközzel OLAP Intelligence 30
31