Az intraorális lenyomatvételi eljárások matematikai, informatikai háttere Passzív- és aktív háromszögelési módszer Időmérésen alapuló módszer Papp Ildikó, DE-IK, 2017
Az intraorális lenyomatvételi eljárások matematikai, informatikai háttere 1. rész (2017. 02.20.) Vázlat 3D szkennelés és alkalmazásai Pontfelhő Poligonháló/Háromszögháló Felületmodell Passzív háromszögelés o Sztereo látás o epipoláris geometria Aktív háromszögelés- Struktúrált fény-alapú technika o Lézerpont vetítése o Fénycsík(ok) vetítése (Single-axis encoding) o Statikus minta vetítése(double-axis encoding) o Bináris kódolás o Színes kódolás Time of Flight AMCW
3D szkennelés Egy létező térbeli objektumról digitális modellt készítünk valamilyen eszközzel, amely alkalmas arra, hogy az objektum pontjainak térbeli koordinátáit kimérje, vagy szoftver segítségével kiszámolja. Széles körben alkalmazható: Digitális dokumentáció készítése Restaurálás Archiválás Reverse engineering Robotika Valós objektumok megjelenítése VR környezetben Egészségügy Sense 3D testszkenner működés közben Egy Sense szkennerrel készült modell megtekinthető a skövetkező oldalon: https://sketchfab.com/models/81842e8c66ee4681918e65cdf842e64b
3D szkennelés Egy 3D szkenner működése különféle fizikai, matematikai, informatikai megoldások együttesén alapul. Befolyásoló tényezők: Mekkora tárgyat kell szkennelnünk? Mennyire tudjuk megközelíteni? Kompakt eszközt szeretnénk? Van-e szükség utólagos feldolgozásra? A heti témakörök: Passzív háromszögelés Aktív háromszögelés Time of Flight technika Egy arc szkennelése: https://youtu.be/nsytatthcvc https://en.wikipedia.org/wiki/3d_scanner
A 3D szkennelés eredménye A szkennelés eredménye: több ezer pont térbeli koordinátája Ebből szükség szerint pontfelhő jeleníthető meg, vagy a feldolgozás során poligonhálóvá alakítható. Pontfelhő Poligonhláló
A pontfelhő egy mintavételezésből származó, térbeli pontok nem strukturált halmaza egy koordinátarendszerben. Minden pont ebben a koordinátarendszerben a az X, Y, Z koordinátákkal írható le. Megjelenítve a felület illúzióját kelti, de a pontok között nincs kapcsolat, nincs klasszikus értelemben vett felületünk. A pontfelhő közvetlenül nem kezelhető, ezért poligonhálóvá szokás alakítani. Ekkor a pontok egy részét elvetjük, és a maradék pontok között összeköttetéseket hozunk létre. https://en.wikipedia.org/wiki/point_cloud Pontfelhő
Poligonháló A poligonhálót jellemzően egy felület megjelenítésére használjuk. A felületi lapok (facet) élek esetében a egy csúcsban több (változó számú) poligonlap is találkozik. (A hálók nem feltétlenül jelentenek háromszöghálót.) A leíró adatstruktúra: A csúcsok listája (a csúcsok koordinátákal megadva) Lapok tárolása a csúcsok és az élek felsorolásával. MeshLab : A háromszöghálók szerkesztésére szolgáló szoftver. (köv. hét gyakorlata)
A 3D szkennelés eredménye A jelenet Renderelt felületmodell a háromszögháló alapján Textúrázott felületmodell
Passzív háromszögelési technika Sztereo kamerarendszer alkalmazása: Két különböző irányból készítünk képet a tárgyról, épületről. Egy térbeli pont helyzete kiszámítható, ha azok mindkét képen beazonosításra kerültek. A legnehezebb az azonosított pontpárok megtalálása, amely nehezen automatizálható. Passzív: a képek készítése után bárhol, és bármikor elvégezhetők a számítások, nem azonnal történik a képek feldolgozása.
A sztereo kamerarendszer paraméterei P A képek egymáshoz viszonyított helyzete. A kamerák egymástól mért távolsága. (O 1 és O 2 távolság) P 1 P 2 A képek középpontjai (a kamerák merőleges vetülete a képen). A kamerák képsíktól mért távolsága. O 1 O 2 + Történt-e valamilyen nagyítás, vagy kicsinyítés a kép készítése után, és ha igen, akkor annak az aránya.
E E 2 1 O O 1 2 P P 1 P 2 Epipólus (O 2 képe O 1 -ből vetítve) Epipoláris geometria A sztereo képekkel történő számítások alapja az epipoláris geometria. Epipoláris sík Epipoláris egyenesek Epipólus (O 1 képe O 2 -ből vetítve) Epipoláris sík: A jelenet P pontja és az O 1, O 2 vetítési középpontok feszítik fel. Epipoláris egyenesek: Az epipoláris sík és a képsíkok metszésvonalai. Epilólusok: Az O 1 és O 2 vetítési középpontok képe a másik képsíkon.
Epipoláris geometria A sztereo képekkel történő számítások alapja az epipoláris geometria. Tapasztalat: A P 1 pont mögötti térbeli pontok képei a jobb oldali felvételen egy egyenesre illeszkednek. (Ez az epipoláris egyenes!) P 1 O 1 O 2
Epipoláris geometria A vetítősugarak visszaállítása során szinte minden esetben van valamilyen mértékű számolási pontatlanság. Ennek következménye, hogy a kiszámolt sugarak elkerülik egymást. Az eredeti metszéspontot helyettesítő pont: a két egyenestől egyenlő távolságra van Az ilyen tulajdonságú pontok közül ez van legközelebb az egyenesekhez. O 1 O 2
Rektifikálás: a képek kiegyenesítése A számolások egyszerűsítése érdekében a képeket kiegyenesítjük : az optikai középpontok által meghatározott egyenessel párhuzamos síkra leképezzük azokat úgy, hogy az epipolárisok egyetlen vonalat alkossanak.
Rektifikálás: a képek kiegyenesítése Rektifikálás előtti képek Rektifikálás utáni képek
Gyakorlati alkalmazás Magyar fejlesztésű mobil app (Androidra) Passzív háromszögelésen alapszik. Nem felhőalapú, nem kell feltölteni a képeket, és a számolás sem a felhőben történik. http://scann3d.smartmobilevision.com/ A hivatalos videó: https://youtu.be/tsiwdtdvc68 A tárgyat körbe kell fényképezni, legalább 20-25 kép kell, melyek átfedőek legyenek. A direkt megvilágítás nem jó a keletkező árnyékok miatt, egy napsütéses napon a szórt fényben teljesít legjobban. Az eddig legjobb szkennem: https://youtu.be/mmpls1fqkpg Letölthető a Google Play-ről:
Aktív háromszögelési technika Fényforrás Kamera A fényforrás-kamera rendszer adatai d Bázistávolság (fényforrás-kamera távolsága). A kibocsátott fénysugár bázisvonallal bezárt szöge: A jelenet egy pontjába mutató sugár bázisvonallal bezárt szöge: Ezen adatokból számítható a vizsgált pont kamerától mért távolsága. A jelenet egy P pontja
Struktúrált fény alapú technika Két kamera helyett egy kamerát és egy fényforrást alkalmazunk. Egy jól ismert mintázatot (pontrácsot, vonalat, vonalrendszert) vetítünk az alakzatra, a minta deformálódik a felületen. Feladat: egy adott mintázat dekódolása. http://wiki.david-3d.com/user_manual/3d_laser_scanning
Szkennelés egyetlen fénycsík vetítésével Digital Michelangelo Project http://graphics.stanford.edu/projects/mich/ Cyberware arc- és fejszkenner
Egyirányú / kétirányú kódolás Egyirányú kódolás esetén egy térbeli pont beazonosítása: egy egyenes és egy sík metszéspontja. Kétirányú kódolás esetén egy térbeli pont beazonosítása: két egyenes metszéspontja.
Bináris kódolás alapelve A kiválasztott pixel kódja 3 minta alkalmazása után: 101 További finomítással az egyre keskenyebb sávok jobban azonosítják a vetített mintázatot. Időben egymás után vetítve Minta 3 Minta 2 Minta 1
Bináris kódolás alapelve Nagy kontraszt könnyű szegmentálás n db vetített minta n bites kód 2 n db sáv A vetített minták számát befolyásolhatja az alakzat térbeli kiterjedése, többnyire a képen látható 32 sáv még nem eredményez elég vékony vonalazást.
Színes kódolás alapelve A mintázat érzékelése a legtöbb esetben a szokásos RGB színcsatornákon történik. Így lehetőség van külön mintázatok megadására csatornánként, melyek egyfajta kombinálására lesz a vetített mintázat.
Aktív háromszögelési technika egyetlen fénycsík sok kép lassú nagyon pontos modell több fénycsík több kép közepesen lassú eléggé pontos modell strukturált mintázat egy kép gyors kevésbé pontos modell Digital Michelangelo Project: http://graphics.stanford.edu/projects/mich/
Lehet-e olcsón szkennelni? Szkennelés árnyékkal: Lámpa a megvilágításhoz Pálca, amely az árnyékot veti majd a tárgyra Fényképezőgép Feldolgozó szoftver
TOF Time of Flight technika Az ötlet forrás a természetben: echolokáció A denevérek (delfinek) a visszavert hang segítségével határozzák meg az előttük lévő akadályok vagy a táplálék helyét, helyzetét.
TOF Time of Flight technika Környezetből érkező fények Fényforrás Idő mérése Érzékelő Mélység A TOF kamera részei Fénykibocsátó egység (infravörös LED vagy lézerdióda) Optika feladata visszaverődő fény összegyűjtése, infravörös tartományra való szűrés, háttérzajok kiszűrése Képalkotó feladata: a megtett út kiszámítása a kép minden egyes pixelére. Vezérlő elektronika biztosítja a fénykibocsájtó és a képalkotó nagyon gyors működését. https://en.wikipedia.org/wiki/time-of-flight_camera http://www.depthbiomechanics.co.uk/?p=102
AMCW - Amplitude Modulated Continuous Wave Moduláló jel Vivő jel Amplitúdó modulálás Az üzenet az amplitúdóba van kódolva. A vivő jel frekvenciája nagyobb, mint a moduláló jelé. Amplitúdó modulált jel Fényforrás Érzékelő Fáziseltolódás mérése Mélység http://www.depthbiomechanics.co.uk/?p=102
Mélységi térkép (Depth map) A szkennelés eredményeként mért mélységi információk egy kétdimenziós tömbben tárolódnak. A mélységi térkép megjeleníthető egy szürkeárnyalatos képként.