Haladó Fordítóprogramok

Átírás

1 Haladó Fordítóprogramok

2 Követelmények Horváth Gábor xazax.web.elte.hu 3-5 oldalas esszé, téma bemutatása, minimális előismeretet feltételezve vagy demo program Témák előadás közben További témák GCC Summit Proceedings, CGO, CC, PLDI, ECOOP LLVM Dev meetings Open Book ZH Saját írott jegyzet használható

3 Tananyag + Cikkek + Konferencia előadások

4 Célkitűzések Gyakorlatias ismeretek Mai vezető fordítókban használt algoritmusok, architektúrák GCC, Clang Rust Swift Intuíció arról, mire képes a fordító, mire nem Segítség hatékony kód írásához Könnyebb bekapcsolódás fordítók fejlesztésébe Hány fordító/interpreter van egy böngész őben? TensorFlow AXL, Apache Flink, Configs

5 Mit várunk el egy fordítótól?

6 DEMO #include <iostream> int main() { int i = 0; std::cout << ++i << ++i << std::endl; }

7 DEMO #include <iostream> int fact(int i) { if (i < 1) return 1; return i*fact(i-1); } int main() { std::cout << fact(5) << std::endl; }

8 DEMO int sum(int n) { int s = 0; for(int i = 0; i < n; ++i) s += i; return s; }

9 Fordítók Egyik nyelvről a másikra fordítunk Pl.: C++ Haswell utasításkészlet Minél távolabbi a forrás és a cél nyelv annál komplexebb a fordító A számítástudomány minden területét igénybe veszik Mohó algoritmusok (regiszter allokáció) Heurisztikus keresés (ütemezés) Gráf algoritmusok (dead code elimination) Véges automaták (lexing, szintaktikus elemzés) Fix-pont algoritmusok (data-flow analysis) Kevés szoftverfajtában található egyszerre ennyi komplex feladat

10 Fordítók Számos elméleti eredmény találta meg a fordítókban a felhasználását Lattice theory (hálók) Számelmélet Mintaillesztés gráfokon, gráfredukció Számos megoldandó probléma NP teljes Hatékony közelítőmegoldásokat alkalmazunk Lehetséges jobb heurisztikákat kitalálni Rengeteg a trade-off Regiszter haszálat vs hatékony ütemezés Kódméret vs sebesség Optimalizálásra vs futásra szánt idő

11 Fordítók felépítése

12 Fordítók felépítése

13 Optimalizáció Valamely szempontból javít a kód min őségén Futási idő, memória használat, kódméret, biztonság, Megőrzi a kód jelentését Refinement Biztonságos egy transzformáció használata? Statikus analízis, döntsük el futtatás nélkül Tényleg javít a kódon? Költségmodellek Architektúra függő Profile guided optimization

14 Fordítók felépítése

15 Fordítók felépítése

16 Swift fordító, Swift Intermediate Language

17 Swift fordító, Swift Intermediate Language

18 Backend Instruction selection Ugyanazt a hatást több utasítással/utasítás sorozattal is el lehet érni adott architektúrán. Melyiket válasszuk? Regiszter allokáció Mely regiszterekbe mely értékeket tároljuk el? Mikor lehet lecserélni egy regiszter tartalmát? Instruction scheduling Az egyes utasítások végrehajtása eltérő időt vehet igénybe Ugyan az az utasítás végrehajtása eltérő időt vehet igénybe (cache locality) Instruction level parallelism Out of order execution

19 Modern CPU

20 Modern CPU Pipeline Stalls Cache hierarchy Prefetch Instruction level parallelism Out of order execution Csak az utasítások bufferén belül Van értelme statikus ütemezésnek GPU, mobil processzoroknál néha nincs Branch prediction SIMD instructions

21 Pipeline

22 SIMD Kevesebb utasítás jut egységnyi operandusra Prefetch barát Nem feltétlen a hagyományos regisztereket terheli Természetes módon előfordul Grafika, fizika, matek

23 Instruction Scheduling LoadAI, StoreAI 3 órajel Mult 2 órajel Többi 1

24 Instruction Scheduling LoadAI, StoreAI 3 órajel Mult 2 órajel Többi 1

25 Engineering Ütemezéskor a loadokat távolabb helyezzük a betöltött érték felhasználásától Tovább maradnak az értékek a regiszterekben, nő a regiszter használat

26 Lexikális elemzés Reguláris nyelvtan Véges automaták Karakterek számában lineáris futási idő Tokenek, tokenizálás Részletesen: Fordítóprogramok tárgy Néhány esetben parser része

27 Szintaktikus elemzés Környezet független nyelvek Terminálisok, nem terminálisok, kezdőszimbólum, produkciós szabályok Tokeneken dolgozik Nyelvtan leírása (BNF) Balrekurzív szabály, jobbrekurzív szabály Többértelműség feloldása Szintaxis fa Asszociativitás, precedenciák Elemzés alulról felfelé, felülről lefelé Absztrakt szintaxisfa vs konkrét szintaxisfa

28 Szintaxis fa

29 Rekurzív leszállás (Recursive Descent) Minden nem-terminálisnak megfeleltehető egy függvény Kézzel írt elemző Az adott függvény a hozzá tartozó nem-terminálist ismeri fel az input streamen A nyelvtan meghatározza mely függvények hívják egymást LL(k) nyelvtanokra jó, balrekurzív nyelvtanok nem működnek Balrekurzív szabály mindig eliminálható Vigyázat, stack overflow Legtöbb ipari fordító elemzője ez. Miért!?

30 Rekurzív leszállás (Recursive Descent) Akadémiai nyelvek Reguláris nyelvtan: lexelés Környezet független nyelvtan: elemzés C++ A nyelvtan egyértelmű Környezet függő nyelvtan a típusellenőrzés Lexelés se reguláris (template >>, C++11) Nyelvtan nem egyértelmű, típusinformációk kellenek a feloldáshoz Nem szétválasztható a szemantikus és szintaktikus elemzés Error recovery

31 Többértelmű nyelvtan P * t; // Pointer vagy szorzás? int(x), y, *const z; //decls int(x), y, new int; //exprs T(*a)[4] // hivas vagy decl?

32 GLR Parser LR elemzők kezelik a balrekurziót GLR kezeli a többértelműséget Forkoljunk, a rossz ágon ellentmondásra jutunk Lokális többértelműségeknél használható Típusellenőrzés nélkül szintaxisfa GitHub: Tree Sitter Legtöbbször parser generátorral alkalmazva Érdekes error recovery opciók

33 Balrekurzió eliminálása Expr Expr + Expr Integer String Expr Integer Expr String Expr Expr + Expr Expr Empty Miért van egyáltalán balrekurzív szabályunk? Asszicativitás

34 Error recovery Csak mert a felhasználó lefelejtett egy pontos vesszőt, a többi függvényt még lehet elemezni, hogy egyszerre több hibaüzenettel szolgálhassunk Az elemző vissza kell tudjon állni egy stabil állapotba a hibás bemenet után és folytatni a munkát Minél jobb hibaüzenetekre van szükségünk Makróknál minden tokennek két pozíciója van: spelling location, expansion location

35 Összefoglalás Könyv első 180 oldala letudva Architektúrális áttekintések, emlékeztet ő lexikális és szintaktikus elemzésről Modern CPU gyorstalpaló Továbbiakban optimalizáció, statikus analízis jóval részletesebben, lassabban Főleg táblás gyakorlatokra lehet számítani