Autostereoscopic imaging

Code number of Tender: GOP-1.1.1-11-2011-0009 Autostereoscopic imaging Development of an Autostereoscopic 3D imaging system at Geoview Systems Ltd. Autosztereoszkópikus képalkotás

2 Development of an Auto-stereoscopic 3D imaging system GOP-1.1.1-11-2011-0009 INTRODUCTION The tasks to be solved in the course of the project justified the use of the experiences of several disciplines. The research & development concept submitted to the subsidization system of the Economic Development Operative Program of the New Széchenyi Plan was approved for support by the Managing Authority. The Development of an Autostereoscopic 3D imaging system at Geoview Ltd. project with reference number GOP-1.-1.-1.-11-2011-0009 is built on a realtime IT conversion technology that converts inter alia visual content being edited to 3D format to be enjoyed even without glasses. In the frame of this project there is an innovative method developed for modelling and data entry beyond the development of a special visualisation system. A simulation tool will be developed detecting the motions of a user or operator so that models can be created without making use of the usual input peripherals (for instance mouse, keyboard). Data entry based on the motion detection means an additional way of usage for several fields. The tasks to be solved in the course of the project justified the use of the experiences of several disciplines. For this reason, during the realisation partners collaborated, who had sufficient skills, research background and results on the fields of 3D, data management and collecting, 3D applications and platforms and developing visualisation tools. Geoview Systems became member of several innovation clusters, inter alia the Silicon Field Regional Informatics Cluster and 3D Creative Innovation Cluster. Cooperating with partners with relevant professional references and experience from the above mentioned clusters in the course of the complex and innovative realisation process seemed to be an obvious possibility. The implementation has several novelties; one of the most important ones is the validation of the thought that linking GIS contents and 3D visualisation offers an unprecedented opportunity for the users of different industries.

Autosztereoszkópikus 3D képalkotó rendszer fejlesztése GOP-1.1.1-11-2011-0009 3 BEVEZETŐ A projekt során megoldandó feladatok, több tudományág tapasztalatainak felhasználását igényelte. Az Új Széchenyi Terv Gazdaságfejlesztési Operatív Program támogatási rendszeréhez benyújtott kutatás-fejlesztési koncepciót az Irányító Hatóság támogatásra érdemesnek találta. GOP-1.1.1-11-2011-0009 azonosító számú Autosztereoszkópikus 3D képalkotó rendszer fejlesztése a Geoview Systems Kft-nél projekt olyan valós idejű IT konverziós technológiára épül, amely a még szerkesztés alatt álló, többek között képi tartalmakat is szemüveg nélkül élvezhető 3D-s formátummá alakítja. A projekt keretén belül speciális megjelenítő fejlesztését túlhaladóan a modellezés és az adatbevitel módszerére is újszerű megoldás kerül kialakításra. Fejlesztésre kerül egy a felhasználó, vagy operátor mozgását érzékelő szimuláló eszköz, melynek segítségével térbeli képek, modellek hozhatóak létre anélkül, hogy a szokásos beviteli perifériák (pl. egér, billentyűzet) alkalmazásra szükség lenne. A mozgásérzékelésen alapuló adatbevitel számos szakterület számára jelent a tervek szerint eddig még nem ismert felhasználási lehetőséget. A projekt során megoldandó feladatok, több tudományág tapasztalatainak felhasználását indokolták, ezért a megvalósítás során olyan partnerek működtek együtt, akik ezen a 3D területén, mind az adatkezelés és felvételezés, adatbázis szervezés, a 3D alkalmazások és platformok, valamint a megjelenítő eszközök fejlesztésben kellő jártassággal, kutatói háttérrel és eredménnyel rendelkeztek. A Geoview Systems több hazai innovációs klaszterben, többek között a Szilícium Mező Regionális Informatikai Klaszterben és a 3D Kreatív Innovációs Klaszterben szerzett tagságot. Kézenfekvő lehetőségként kínálkozott, hogy komplex és innovatív megvalósításba a megfelelő szakmai referenciával és tapasztalattal rendelkező partnereit az előzőekben említett klaszterekből vonja be. A megvalósítás több újdonsággal bír, ezek közül talán a legfontosabb annak a gondolatnak az érvényesítése, hogy a térinformatikai tartalmak és 3D megjelenítés összekapcsolása korábban még nem látott lehetőséget nyújt a különböző iparági felhasználók számára.

4 Development of an Auto-stereoscopic 3D imaging system GOP-1.1.1-11-2011-0009 GOAL AND JUSTIFICATION OF THE PROJECT Three-dimensional (3D) visualisation, content development, applied industrial use and entertainment are areas that could come up with a significant increase even during the economic recession. This is partly due to the fact that visualisation technologies went through a significant development, and by now a number of large manufacturers show interest in this topic. Although there has been 3D visualisation tools existing for quite a while, because of the poor quality of simple 3D technologies, like Anaglyph (red and blue) glasses they are not popular, they are not capable of meeting professional needs for the time being. The acceptance of the latest 3D glasses systems raises several questions too. The more expensive solutions, like multi-view, volumetric or light-field displays would be more desirable, but because of their higher price and the lack of 3D content they are still not widespread. The definite goal of the project is the spectacular and user-friendly expansion of GIS tools, which is one of the main fields of development of Geoview Systems Ltd. We hope that the application of this promising project prototype, combining several technological innovations meets the needs of several target groups, due to providing new opportunities to support their everyday activities. Managing real-time information based on motion-input results in a graphic symbol that makes, during or beside the usual use of software, auto-stereoscopic visualisation possible. It establishes an interface connection between the visual data created with the help of the applied user software and the special autostereoscopic visualisation tool. This solution can be closely linked to the development of the Next Generation 3D Display technologies. The development of specialised professional 3D displays is an important field that aims at the less price-sensitive industrial usage.

Autosztereoszkópikus 3D képalkotó rendszer fejlesztése GOP-1.1.1-11-2011-0009 5 PROJEKT CÉLJA, INDOKOLTSÁGA A háromdimenziós (3D) megjelenítés, tartalomfejlesztés, alkalmazott ipari felhasználás és szórakoztatás azon kevés területek közé tartoznak, amelyek még a gazdasági recesszió idején is számottevő növekedést tudtak felmutatni. Köszönhető ez részben annak, hogy a megjelenítésre alkalmas technológiák jelentős fejlődésen mentek keresztül, és hogy mostanra számos nagy gyártó is érdeklődéssel fordul a téma felé. Bár 3D megjelenítésre alkalmas eszközök már igen régóta léteznek, az egyszerű 3D technológiák, mint például az Anaglyph (piros-kék) szemüvegek rossz minőségük miatt nem népszerűek, a professzionális igényeket egyelőre képtelenek kielégíteni. Az újabb szemüveges rendszerek elfogadottsága ugyancsak több kérdést vet fel. A költségesebb megoldások, mint például a többnézetű, volumetrikus, vagy light-field kijelzők ugyan 3D képességeik miatt kívánatosabbak lennének, de magasabb áruk és az alkalmas 3D tartalom hiánya miatt még nem terjedtek el. A projekt célja egyértelműen a Geoview Systems Kft. egyik fő szoftver fejlesztési területének, a térinformatika eszköztárának látványos és felhasználóbarát bővítése. Az ígéretes, több technológiai újítást ötvöző projekt minta alkalmazása, a hozzáfűzött remények szerint számos célcsoport igényeivel találkozik azáltal, hogy mindennapi tevékenységük támogatására új lehetőségeket nyit. A valósidejű információk mozgásbevitelen alapuló kezelése, olyan grafikai jelet eredményez, amely a szokásos felhasználói (PC) szoftverek használata közben, vagy éppen mellette autosztereoszkópikus megjelenítést tesz lehetővé. Teszi ezt úgy, hogy az alkalmazott felhasználói szoftverek segítségével létrehozott vizuális adatok és a speciális autosztereoszkópikus megjelenítő között interfész kapcsolatot biztosít. Ez a megoldás az ún. Következő generációs 3D kijelző technológiák fejlesztéshez is szorosan köthető. A specializált professzionális 3D kijelzők fejlesztése fontos terület, amely a kevésbé ár érzékeny ipari felhasználást képes megcélozni.

6 Development of an Auto-stereoscopic 3D imaging system GOP-1.1.1-11-2011-0009 On the professional market there are several applications working with 3D data. There is a need for more and better quality 3D content, for the elaboration of new content-development methods. The same goes both for synthetic (generated by computers) and live (recorded by cameras) contents as well. Based on the above mentioned needs, the developers of the Autostereoscopic 3D imaging system link the new 3D content-development methods with the visualisation. The development of Geoview Systems establishes an IT technology converting in realtime. It converts the appearing edited contents automatically and continuously into adequate formats, capable of visualising 3D content without special glasses. The solution introduced a new method for the generation of models created by imaging. On one hand it means the use of a special tool, detecting the motion of the user to move the three-dimensional image and to create a model. On the other hand it offers a possibility to use a so-called 3D pointing device. The sample application to be developed combines the assigned directions of development, providing a complex basis for the use of up-to-date GIS software. This solution means an outstanding value inter alia on the following fields: Running applications on the field of experimental sciences, model building Applied science applications, managing medical data (CT, MRI), engineering, architecture, optical planning (CAD models) Mass-market segment, for example running 3D games, cosmetics, beauty industry Media industry, advertisement, film industry Fields of Modern Art Landscape architecture, architecture Industrial security and catastrophe prevention. The new methods and R&D&I processes established during the development of the Autostereoscopic 3D imaging system serve the different user fields more efficiently than earlier ones. Geoview Systems recognised that on the field of professional usage there is no all-purpose work process or environment, as each field raises different kind of expectations. The different fields of the industry and society have different expectations on the new 3D technologies. That is why needs have to be clearly and continuously identified, so that specialised application platforms can be developed later on with the use of the results of the development.

Autosztereoszkópikus 3D képalkotó rendszer fejlesztése GOP-1.1.1-11-2011-0009 7 A professzionális piacon számtalan alkalmazásban dolgoznak 3D adattal. Igény van több és jobb minőségű 3D tartalom készítésére, új tartalomkészítési metódusok kidolgozására. Ez egyaránt vonatkozik a szintetikus (számítógép generálta), valamint az élő (kamerákkal rögzített) tartalmakra. Az Autosztereoszkópikus 3D képalkotó rendszer fejlesztői az előzőkben felsorolt igényekre alapozva az új 3D tartalomkészítési eljárásokat és megjelenítést összekapcsolják. A Geoview Systems fejlesztése valós időben konvertáló IT technológiát hoz létre, mely a megjelenő, szerkesztés alatt álló tartalmakat automatikusan és folyamatosan konvertálja megfelelő formátummá, amely képes szemüveg nélküli 3D tartalom megjelenítésére. A fejlesztés a képalkotással létrehozott modellek előállításhoz is új módszert vezetett be. Ez egyfelől egy speciális, a felhasználó mozgását érzékelő eszköz segítségét jelenti a térbeli kép mozgatására és a modell megalkotására. Másrészről pedig alternatív lehetőséget kínál egy ún. 3D-s mutatóeszköz használatára is. A kijelölt fejlesztési irányokat jól ötvözi a kialakítandó mintaalkalmazás, amely komplex alapot biztosít a térinformatikai szoftverek modern használatára. Ez a megoldás többek között a következő területeken jelent kiemelkedő felhasználói értéket. Kísérleti-tudományi szakterületi alkalmazások futtatása, modellalkotás. Alkalmazott tudományi felhasználások, orvosi adatok (CT, MRI), gépészeti, építészeti, optikai tervezés (CAD modellek) kezelése. Tömegpiaci szegmens, pl. 3D játékok futtatása, kozmetika, szépségipar. Médiaipar, reklám- és filmipar. Modern művészeti szakterületek. Tájépítészet, építőművészet. Iparbiztonság és katasztrófavédelem. Az Autosztereoszkópikus 3D képalkotó rendszer fejlesztése során kialakított új módszerek, a K+F+I eljárások a korábbikhoz lépest hatékonyabban szolgálják ki a különböző felhasználói területeket. A Geoview Systems felismerte, hogy a professzionális felhasználás területén nincs mindenre alkalmas munkafolyamat vagy környezet, hiszen egyes területek igen eltérő elvárásokat támasztanak. Az ipar és a társadalom különböző területeinek más-más igényei vannak az új 3D-s technológiákkal szemben. Ezért az igényeket egyértelműen és folyamatosan azonosítani kell, annak érdekében, hogy a későbbiekben specializált alkalmazási platformokat tudjon kidolgozni a fejlesztés eredményeinek felhasználásával.

8 Development of an Auto-stereoscopic 3D imaging system GOP-1.1.1-11-2011-0009 RESEARCH AREAS Technological opportunities: Auto-stereoscopic systems do not require users to wear glasses in order to separate the left and the right view, but they send the image directly to the appropriate eye. Unlike two-view solutions developed and used by several well-known firms, our products are multi-view systems, generating more than one sight windows. This way the viewer can see exactly two of them at a time, at any time, so the brain creates the 3D experience. Resulting from this, the followings are needed for the 3D effect: content, built up of two images or scenes synchronised in image quality and time. Any interlace technique or superimposing makes this possible. Furthermore, there is a special, uniquely fitted filter geared to the display needed that is capable of braking up a composite image arriving from a surface into discrete images and passing them to the eyes. Managing 3D content: The research maps one of the requirements of 3D, namely how different GISs create contents and make them accessible. The discovered content processing application is absolute unique and original, guaranteeing the linkage to existing and of long standing systems. The topic of the specification of the socalled cockpit is to be investigated too. Visualisation: A further vision of the development is to create an auto-stereoscopic system assisting the work of people working in GIS area due to the fact that during data processing users can see scenes in 3D in real time without glasses on a secondary display developed for this purpose. Analysing studies have preceded the creation of the concept. They showed unequivocally that 3D scanners can generate the contents to be displayed, and at the same time they made it clear that the most effective and economic way is to develop an own visualising application. It is the most optimal solution from the aspects of further development as well. The concept therefore is to create an application being able to read a model generated by a 3D scanner from a selected file format, and then to create an image to be seen on a 3D monitor through completing the steps necessary for an auto stereo visualisation. The selected input could be PTX format supported by Leica 3D scanners as output formats. The OpenGl-based 3D viewer application named 3D PTX Viewer offers a Free-Look camera for the scene built up from the 3D model stored in PTX that can be freely controlled by the user, influencing the direction and position of the view, making the given scene accessible. An especially important advantage of this is that even areas can be reviewed that otherwise in reality cannot be accessed (for example: cables running close to the slab of high halls, closed areas etc.) Ergonomics: FOV and 3D depth can be set in the software; each user can adjust them to his own eyes and to the given scene. The out-screen value, that is the areas of the 3D image that he feels approaching to the viewer from the plane of the monitor, can be controlled by the user too. He can set where the plane should be placed in the depth range of the given scene, from which subjects to be found closer to the camera hang out from the monitor, while the distant ones seem to hang down into it.

Autosztereoszkópikus 3D képalkotó rendszer fejlesztése GOP-1.1.1-11-2011-0009 9 KUTATÁSI TERÜLETEK Technológiai lehetőségek: Az autosztereoszkópikus rendszerek nem követelik meg a felhasználóktól, hogy szemüveget viseljenek a jobb és bal nézet szétválasztásához, hanem közvetlenül a megfelelő szemnek küldik a képet. Ellentétben több neves cég által fejlesztett és használt kétnézetes megoldásokkal, a mi termékeink multi-view, azaz több nézőpontos rendszerek, amelyek egy időben több nézőablakot hoznak létre úgy, hogy ezek közül a néző bármelyik pillanatban pontosan kettőt lát, így az agy létrehozza a 3D-s élményt. Ebből egyértelműen következik, hogy 3D hatás elérésére a következőkre van szükség: olyan tartalomra, mely két egymáshoz képminőségben és időben szinkronizált képből, jelenetből épül fel. Ez lehetséges bármilyen interlace technikával vagy egymásra vetítéssel. Továbbá szükséges a kijelzőhöz igazított és egyedileg illesztett olyan speciális filter, amely képes az egy felületről érkező kompozit képet különálló képekre bontani, valamint a szemekbe szeparáltan eljuttatni. 3D adattartalmak kezelése: A kutatás elsődlegesen 3D egyik követelményét térképezi fel, miszerint a tartalmakat a különböző térinformatikai rendszerek (GIS) hogyan hozzák létre és teszik elérhetővé. Az így feltárt tartalom feldolgozó applikáció teljesen egyedi és önálló fejlesztést jelent, amely biztosítja a már meglévő és bevált rendszerekhez a kapcsolódást. Szintén vizsgált problémakör a létrehozni kívánt felhasználói ún. cockpit specifikálása. Megjelenítés: A fejlesztés további kitűzött víziója egy olyan autosztereoszkóp rendszert létrehozása, amely elősegíti a GIS-ben dolgozók munkáját azáltal, hogy a felhasználók munkavégzés, feldolgozás közben valós időben szemüveg nélkül is 3D-ben láthatják a jeleneteket egy, erre a célra fejlesztett másodlagos kijelzőn. A koncepciót elemző tanulmányok előzték meg, melyekből egyértelműen kitűnt, hogy a 3D-s szkennerek létre tudják hozni a megjelenítendő tartalmat, ugyanakkor az is egyértelművé vált, hogy a legcélravezetőbb, leggazdaságosabb és továbbfejlesztési szempontokból is legoptimálisabb, ha saját megjelenítő alkalmazást hozunk létre. A koncepció tehát egy olyan alkalmazás készítése, amely egy kiválasztott fájlformátumból képes egy 3D szkenner által előállított modellt beolvasni, majd képes az autósztereó megjelenítéshez szükséges lépések elvégzésével egy 3D monitoron megtekinthető képet előállítani. A választott input a PTX formátum lett, melyet a Leica 3D szkennerek támogatnak, mint kimeneti formátumot. A 3D PTX Viewer névre keresztelt, OpenGL alapú 3D nézegető alkalmazás a PTX-ben tárolt 3D modellből felépülő jelenethez biztosít egy Free-Look kamerát, melyet a felhasználó szabadon irányíthat, befolyásolva a nézés irányát, és pozícióját, így bejárhatóvá tettük az adott jelenetet. Ennek kiemelt előnye, hogy olyan területek is áttekinthetőek, amelyek a valóságban egyébként be nem járhatóak (pl.: magas csarnokok födém közeli vezetékei, lezárt területek, stb.) Ergonómia: A szoftverben állítható a FOV, továbbá a 3D mélység, melyet minden felhasználó a saját szeméhez és adott jelenthez tud igazítani. Az outscreen értékét, tehát a látható 3D kép olyan területeit, amelyet a monitor síkjától a néző felé közeledőnek érez, a felhasználó szintén szabályozhatja, megadva azt, hogy egy adott jelenet mélységtartományában hol helyezkedjen el az a sík, amelytől a kamerához közelebb lévő tárgyak a képernyőből kilógónak, távolabb lévő tárgyak befelé lógónak hassanak.

10 Development of an Auto-stereoscopic 3D imaging system GOP-1.1.1-11-2011-0009 PROJECT RESULTS The research and development does not stop at creating the stand-alone software. We develop two plug-ins linked to the general 3D viewers / editors and to the GIS display. The infiltrating module developed for the open source based Blender modelling software retrieves the image rendered from the position of the current camera after being connected to the main program and displays it in the secondary display window converted into a 3D auto-stereo scene. And all this in real time, a human eye doesn t even notice the delay. In this case the plug-in doesn t complete rendering, only visualisation. Of course all editing and other functions of the main software are still available to the user. The only variable value of the plug-in is the 3D depth, nothing more is needed anyway, as all other possibilities (for example: moving, going around) are accessible from the main program. There is a so-called infiltrating module being developed to the ParaView software used in GIS that is, just like the above mentioned autostereo Blender Plug-in leaves the functionality of the basic software responsible for the glassesfree 3D visualisation untouched. Summing up we can say that the stand-alone 3D PTX Viewer and the plug-ins generate glassesfree 3D images in two ways. The stand-alone model displayer completes the whole rendering of the scene, and generates the more than two views needed for the autostereoscopic system with the help of a special internal multi-view camera. The plug-ins on the other hand fall back on the results of the rendering used by the main programs, and generate the more than two views from its normal and depth image (multiviews). This results in a real-time preview, independently from the state of the modelling, the version number of the main program and the eventual changes of the rendering process. Another important element of the autostereoscopic system produced by the project is the 3D monitor. It is based on a traditional 27 monitor that gets a special filter and some other shaping in order to produce the glasses-free multi-view 3D effect. In the course of making the filter the basic characteristics of the monitor had to be considered (for example: resolution, pixel size) and furthermore the fact had to be taken into account that the user would probably use the system from a distance of approximately 1 meter. In producing the easy-to-use glasses-free 3D system and the other R&D product challenging several new fields of application Geoview Systems Ltd. collaborates with partners of high professional standards, like IMG-Research Ltd, engaged in 3D image processing and glasses-free 3D developments.

Autosztereoszkópikus 3D képalkotó rendszer fejlesztése GOP-1.1.1-11-2011-0009 11 PROJEKT EREDMÉNYEK A kutatások és fejlesztések nem állnak meg az önálló szoftver létrehozásánál. Kifejlesztünk két olyan plug-int, amelyek általános 3D nézegetőhöz/editorhoz és térinformatikai megjelenítőhöz kapcsolódnak. Az open source alapú Blender modellező szoftverhez készített beépülő modul a főprogramhoz történő kapcsolódás után lekéri az aktuális kamera pozíciójából renderelt képet, és azt autósztereó 3D jelenetté konvertálva megjeleníti a másodlagosan használt megjelenítő ablakban, mindezt real-time, úgy, hogy az emberi szem észre sem veszi a késedelmet. Ebben az esetben tehát a plug-in nem végez renderelést, csak vizualizációt. Természetesen a főszoftver minden editáló és egyéb funkciója a felhasználó rendelkezésére áll továbbra is. A plug-in egyetlen változtatható értéke a 3D mélység, ennél többre nincs is szükség, hiszen minden más lehetőség (pl.: mozgatás, bejárás) a főprogramból elérhető. A térinformatikában használt ParaView szoftverhez egy ún. beépülő modul készül, amely akárcsak az előbb felvázolt Autosztereo Blender Plug-in, az alapszoftver funkcionalitást érintetlenül hagyva, a szemüveg nélküli 3D-s megjelenítésért felelős. Összefoglalva elmondható, hogy az önálló 3D PTX Viewer és a plug-inok a szemüveg nélküli 3D kép előállításának két formáját alkalmazzák. Az önálló modell megjelenítő a jelenet teljes renderelését végzi, és egy belső speciális multi-view kamera megvalósítással előállítja az autosztereóhoz szükséges kettőnél több nézetet. A plug-in-ok ezzel szemben a főprogramok által alkalmazott renderelés eredményeire támaszkodnak, és annak normál és mélység képéből állítják elő a 2-nél több nézetet (multi-viewt). Ezek eredménye a valós idejű preview a modellezés állapotáról, a főprogram verziószámától és belső renderelési folyamatának esetleges változásától függetlenül. A projektben létrehozott autosztereoszkópikus rendszer másik fontos részének, a 3D-s monitornak alapja egy hagyományos 27 -os monitor, amely egy speciális szűrőt és egyéb megmunkálást kapott annak érdekében, hogy a szemüveg nélküli multi-view 3D hatás létrejöjjön. A filter létrehozásánál figyelembe kellett venni a monitor alapsajátosságait (pl.: felbontás, pixelméret) és azt is, hogy várhatóan a felhasználó mintegy 1 méter távolságból fogja használni a rendszert. A gyakorlatban is könnyen használható szemüveg nélküli 3D rendszer és a számos eddig még nem ismert alkalmazási terület iránt érdeklődésre számot tartó K+F produktum létrehozásában a Geoview Systems Kft. olyan szakmailag magasan jegyzett partnerekkel működik együtt, mint a 3D képfeldolgozással, szemüveg nélküli 3D fejlesztéssel foglalkozó IMG-Research Kft.

Hungarian Economic Development Center Edition 2013