RELÁCIÓS LEKÉRDEZÉSEK OPTIMALIZÁLÁSA. Dr. Gajdos Sándor november BME TMIT

Átírás

1 RELÁCIÓS LEKÉRDEZÉSEK OPTIMALIZÁLÁSA Dr. Gajdos Sándor november BME TMIT

2 TARTALOM Heurisztikus, szabály alapú optimalizálás Költség alapú optimalizálás Katalógus költségbecslés Operációk, műveletek áttekintése Kifejezéskiértékelés Az optimális végrehajtási terv kiválasztása Manuális vs. automatikus optimalizálás nov. 2

3 ÁTTEKINTÉS lekérdezés (query) értelmező és fordító reláció algebrai kifejezés optimalizáló lekérdezés kimenet kiértékelő motor végrehajtási terv adatok statisztika az adatokról nov. 3

4 I. HEURISZTIKUS, SZABÁLY ALAPÚ OPTIMALIZÁLÁS Relációs algebrai fa alapú optimalizálás Lekérdezési fa EMPLOYEE (EMPLOYEE_ID, LAST_NAME, FIRST_NAME, BIRTH_DATE, ) PROJECT (PROJECT_ID, PNAME, ) WORKS_ON (PROJECT_ID, EMPLOYEE_ID) select last_name from employee, works_on, project where employee.birth_date > ' ' and works_on.project_id = project.project_id and works_on.employee_id = employee.employee_id and project.pname = 'Aquarius' nov. 4

5 EGY LEHETSÉGES RELÁCIÓS ALGEBRAI MEGFELELŐ π LAST_NAME σ BIRTH_DATE>" " EMPLOYEE EMPLOYEE_ID=EMPLOYEE.EMPLOYEE_ID WORKS_ON PROJECT_ ID=PROJECT.PROJECT_ID σ PNAME="Aquarius" PROJECT π LAST_NAME PROJECT_ ID=PROJECT.PROJECT_ID EMPLOYEE_ID=EMPLOYEE.EMPLOYEE_ID σ PNAME="Aquarius" σ BIRTH_DATE>" " WORKS_ON PROJECT EMPLOYEE nov. 5

6 CÉL: A LEGGYORSABB ALAK KIVÁLASZTÁSA Kiindulás: kanonikus alakból (Descartes, szűrés, projekció) π LAST_NAME σ PNAME = "Aquarius" PROJECT_ID = PROJECT.PROJECT_ID EMPLOYEE_ID = EMPLOYEE.EMPLOYEE_ID BIRTH_DATE > " " PROJECT EMPLOYEE WORKS_ON nov. 6

7 MÁSODIK LÉPÉS: SZELEKCIÓK SÜLLYESZTÉSE π LAST_NAME σ PROJECT_ ID=PROJECT.PROJECT_ID σ EMPLOYEE_ID=EMPLOYEE.EMPLOYEE_ID σ PNAME="Aquarius" PROJECT σ BIRTH_DATE>" " WORKS_ON EMPLOYEE nov. 7

8 HARMADIK LÉPÉS: LEVELEK ÁTRENDEZÉSE π LAST_NAME σ EMPLOYEE_ID=EMPLOYEE.EMPLOYEE_ID σ PROJECT_ ID=PROJECT.PROJECT_ID σ BIRTH_DATE>" " EMPLOYEE σ PNAME="Aquarius" WORKS_ON PROJECT nov. 8

9 NEGYEDIK LÉPÉS: JOIN π LAST_NAME EMPLOYEE_ID=EMPLOYEE.EMPLOYEE_ID PROJECT_ ID=PROJECT.PROJECT_ID σ BIRTH_DATE>" " σ PNAME="Aquarius" WORKS_ON EMPLOYEE PROJECT nov. 9

10 ÖTÖDIK LÉPÉS: PROJEKCIÓ SÜLLYESZTÉSE π LAST_NAME EMPLOYEE_ID=EMPLOYEE.EMPLOYEE_ID π EMPLOYEE_ID π EMPLOYEE_ID, LAST_NAME PROJECT_ ID=PROJECT.PROJECT_ID σ BIRTH_DATE>" " π PROJECT_ID π PROJECT_ID, EMPLOYEE_ID EMPLOYEE σ PNAME="Aquarius" WORKS_ON PROJECT nov. 10

11 MIKOR EKVIVALENS KÉT FA? RELÁCIÓS ALGEBRAI TRANSZFORMÁCIÓK I. σ c1 c 2 c n r σ c1 σ c2 σ cn r σ c1 σ c2 r σ c2 σ c1 r π List1 π List2 π Listn r π List1 r π A1,A 2,,A n σ c r σ c π A1,A 2,,A n r nov. 11

12 MIKOR EKVIVALENS KÉT FA? RELÁCIÓS ALGEBRAI TRANSZFORMÁCIÓK II. r c s s c r σ c r s σ c r s π L r c s π A1,,A n r c π B1,,B m s π L r c s π L π A1,,A n,a n+1,,a n+k r c π B1,,B m,b m+1,,b m+p s A halmazműveletek (unió, metszet) kommutativitása A join, Descartes-szorzat, unió és metszet asszociatív: rθs θt rθ sθt nov. 12

13 MIKOR EKVIVALENS KÉT FA? RELÁCIÓS ALGEBRAI TRANSZFORMÁCIÓK III. σ C r θ s σ C r θ σ C s π L r θ s π L r θ π L (s) Egyéb szabályok: c c 1 c 2 c 1 c 2 c c 1 c 2 c 1 c nov. 13

14 ÖSSZEFOGLALÓ SZABÁLYOK Konjunktív szelekciós feltételeket szelekciós feltételek sorozatává bontjuk. Szelekciós műveleteket felcseréljük a többi művelettel. Átrendezzük a lekérdezési fa leveleit. A Descartes-szorzatokat és a fölöttük lévő szelekciós kapcsolási feltételt egy join műveletté vonjuk össze. A projekciós műveleteket felcseréljük a többi művelettel nov. 14

15 II. KÖLTSÉG ALAPÚ OPTIMALIZÁLÁS 1. Elemzés (szintaktikus), fordítás 2. Költségoptimalizálás 3. Kiértékelés nov. 15

16 II. KÖLTSÉG ALAPÚ OPTIMALIZÁLÁS Katalógusadatok alapján történő költségbecslés A katalógusban tárolt egyes relációkra vonatkozó információk Katalógusinformációk az indexekről A lekérdezés költsége Megoldás az adatok frissítésére nov. 16

17 A KATALÓGUSBAN TÁROLT EGYES RELÁCIÓKRA VONATKOZÓ INFORMÁCIÓK n r : az r relációban levő rekordok száma (number) b r : az r relációban levő rekordokat tartalmazó blokkok (blocks) száma s r : egy rekord nagysága (size) bájtokban f r : mennyi rekord fér egy blokkba (blocking factor) nov. 17

18 A KATALÓGUSBAN TÁROLT EGYES RELÁCIÓKRA VONATKOZÓ INFORMÁCIÓK V A, r : hány különböző értéke (Values) fordul elő az A attribútumnak az r relációban (kardinalitás). V A, r = π A (r) Ha A kulcs, akkor V A, r = n r SC A, r : (Selection Cardinality) azon rekordok átlagos száma, amelyek egy kiválasztási feltételt kielégítenek. Ha A kulcs, akkor SC A, r = 1 Általános esetben SC A, r = n r V A,r Ha a relációk rekordjai fizikailag együtt vannak tárolva, akkor: n r b r = f r nov. 18

19 KATALÓGUS INFORMÁCIÓK AZ INDEXEKRŐL f i : pointer kimenetek átlagos száma a fa struktúrájú indexeknél, pl. a B* fáknál HT i : az index szintjeinek száma (Height of Tree) HT i = log fi V A, r (B*-fa) HT i = 1 (hash) LB i : a levélszintű indexblokkok száma (Lowest level index Block) nov. 19

20 KÖLTSÉG MEGHATÁROZÁSA Meghatározása: igényelt és felhasznált erőforrások alapján? válaszidő alapján? kommunikációra fordított idő alapján? Definíció: háttértár blokkolvasások és írások száma a válasz kiírásának költsége nélkül További egyszerűsítések nov. 20

21 OPERÁCIÓK, MŰVELETEK KÖLTSÉGE Select szelekciós algoritmusok (alap, indexelt, összehasonlításos) komplex szelekció Join típusai join nagyságbecslés join algoritmusok komplex join Egyéb ismétlődés kiszűrése unió, metszet, különbség nov. 21

22 ALAP SZELEKCIÓS ALGORITMUSOK (=) A1: Lineáris keresés Költsége: A2: Bináris keresés Feltétele: Blokkok folyamatosan a diszken E A1 = b r Az A attribútum szerint rendezettek Szelekció feltétele az egyenlőség az A attribútumon Költsége: E A2 = log 2 b r SC(A, r) f r nov. 22

23 INDEXELT SZELEKCIÓS ALGORITMUSOK A3: Elsődleges index használatával, egyenlőségi feltételt a kulcson vizsgálva E A3 = HT i + 1 A4: Elsődleges index használatával, egyenlőségi feltétel nem kulcson (a nemkulcs attribútumon van az elsődleges index) E A4 = HT i + SC A,r f r A5: Másodlagos index használatával. E A5 = HT i + SC A, r E A5 = HT i + 1, ha A kulcs nov. 23

24 ÖSSZEHASONLÍTÁS ALAPÚ SZELEKCIÓ A v (R) Az eredményrekordok számának becslése: Ha v-t nem ismerjük: n r 2 Ha v-t ismerjük, egyenletes eloszlás esetén: n átlagos = n r v min A, r max A, r min A, r nov. 24

25 ÖSSZEHASONLÍTÁS ALAPÚ SZELEKCIÓ A v (R) A6: Elsődleges index használatával. Ha v-t nem ismerjük: Ha v-t ismerjük: E A6 = HT i + b r 2 E A6 = HT i + c f r, ahol c jelöli azon rekordok számát, ahol A v A7: Másodlagos index használatával E A7 = HT i + LB i 2 + n r nov. 25

26 JOIN OPERÁCIÓ Definíció: r 1 θ r 2 = σ θ r 1 r 2 Típusai: Természetes illesztés (natural join) r 1 r 2 = π A B σ R1.X=R2.X r 1 r 2 Külső illesztés (outer join) Bal oldali külső illesztés: r 1 + r 2 Jobb oldali külső illesztés: r 1 + r 2 Teljes külső illesztés: r r 2 Theta illesztés: r 1 θ r 2 = σ θ r 1 r nov. 26

27 NESTED-LOOP JOIN (EGYMÁSBA ÁGYAZOTT CIKLIKUS ILLESZTÉS) Adott két reláció, r és s: FOR minden t r r rekordra DO BEGIN FOR minden t s s rekordra DO BEGIN teszteljük t r, t s párt, hogy kielégíti-e a θ-join feltételt IF igen, THEN adjuk a t r. t s rekordot az eredményhez END END worst case költség: n r b s + b r ha legalább az egyik befér a memóriába, akkor a költség: b r + b s nov. 27

28 BLOCK NESTED-LOOP JOIN (BLOKKALAPÚ EGYMÁSBA ÁGYAZOTT CIKLIKUS ILLESZTÉS) FOR minden b r r blokkra DO BEGIN FOR minden b s s blokkra DO BEGIN FOR minden t r b r rekordra DO BEGIN FOR minden t s b s rekordra DO BEGIN teszteljük le a t r, t s párt END END END END worst-case költsége: b r b s +b r sok memóriával: b r + b s nov. 28

29 INDEXED NESTED-LOOP JOIN (INDEXALAPÚ EGYMÁSBA ÁGYAZOTT CIKLIKUS ILLESZTÉS) Az egyik relációhoz (s) van indexünk Tegyük az első algoritmus belső ciklusába az indexelt relációt A keresés index alapján kisebb költséggel is elvégezhető Költsége: ahol c a szelekció költsége s-en. b r + n r c, nov. 29

30 TOVÁBBI JOIN IMPLEMENTÁCIÓK sorted merge join a relációkat a join feltételben meghatározott attribútumok mentén rendezzük, majd összefésüljük hash join az egyik relációt hash-táblán keresztül érjük el, miközben a másik reláció egy adott rekordjához illeszkedő rekordokat keressük egyéb pl. bitmap indexekkel (bitmap join) nov. 30

31 EGYÉB OPERÁCIÓK Ismétlődés kiszűrése (rendezés, majd törlés) Projekció (projekció, majd ismétlődés kiszűrés) Unió (mindkét relációt rendezzük, majd összefésülésnél kiszűrjük a duplikációkat) Metszet (mindkét relációt rendezzük, fésülésnél csak a másodpéldányokat hagyjuk meg) Különbség (mindkét relációt rendezzük, fésülésnél csak első relációbeli rekordokat hagyunk) Aggregáció pl. márkanév G sum(egyenleg) (számla) számítása,pl. rendezéssel márkanévre. Összegzés on-the-fly nov. 31

32 KIFEJEZÉSKIÉRTÉKELÉS MÓDJAI Materializáció összetett kifejezésnek egyszerre egy műveletét értékeljük ki valamilyen rögzített sorrend szerint Pipelining egyszerre több elemi művelet szimultán kiértékelése folyik egy operáció eredményét azonnal megkapja a sorban következő operáció operandusként nov. 32

33 MATERIALIZÁCIÓ Kanonikus alak: π customer_name σ balance<2500 account customer Műveleti fa: pcustomer_name balance < 2500 customer account Eredő költség: a végrehajtott műveletek költsége + részeredmények tárolásának költsége Előnye: egyszerű implementálhatóság Hátrány: sok háttértár-művelet nov. 33

34 PIPELINING szimultán kiértékelés a részegységek az előttük álló elemtől kapott eredményekből a sorban következő számára állítanak elő részeredményeket nem számítja ki előre az egész relációt Előnye: kiküszöböli az ideiglenes tárolás szükségességét kis memóriaigény Hátránya: szűkíti a felhasználható algoritmusok körét nov. 34

35 A KIÉRTÉKELÉSI TERV KIVÁLASZTÁSA milyen műveletek milyen sorrendben milyen algoritmus szerint pcustomer_name (rendezzük, hogy a másodpéldányokat kiejtsük) (hash join) milyen workflow-ban (merge join) depositor csővezeték csővezeték egy konkrét kiértékelési terv branch_city= Brooklyn (használjuk az 1. indexet) branch balance < 1000 (használjunk lineáris olvasást) account nov. 35

36 KÖLTSÉGALAPÚ OPTIMALIZÁCIÓ Mohó és egyben rossz stratégia: Minden ekvivalens kifejezés felsorolása Minden forma kiértékelése Az optimális kiválasztása Pl.: Tekintsük az alábbi kifejezést: r 1 r 2 r 3 12 ekvivalens Általános esetben: n reláció illesztésére 2(n 1)! n 1! Ez túl nagy terhelés lenne a rendszer számára. ekvivalens lehetőség. A megoldás: heurisztikus költség alapú optimalizálás nov. 36

37 AUTOMATIKUS VS. MANUÁLIS OPTIMALIZÁLÁS Az automatikus optimalizáló előnyei: Szélesebb ismeret a letárolt adatértékekről. Gyorsabb numerikus kiértékelési mechanizmus. Szisztematikus értékelés. Algoritmusa több szakember együttes tudását hordozza. Dinamikusan, minden művelet előtt, az aktuális feltételeket figyelembe véve értékelődik ki. Az emberi optimalizálás előnyei: Szélesebb általános ismeret, a probléma szemantikai tartalmának felhasználása lehetséges. Nagyobb szabadság a felhasználható módszerek, eszközök tekintetében. Váratlan helyzetekre jobban felkészült nov. 37