Kutatási tevékenységünk középpontjában a haptikus kommunikáció áll. A távoli környezetbe való valódi elmerüléshez szükség van arra, hogy fizikailag interakcióba léphessünk távoli tárgyakkal, és a szó szoros értelmében kapcsolatba léphessünk más emberekkel. A tárgyak távoli megérintése és manipulálása akkor válik lehetővé, ha a hagyományos audiovizuális kommunikációt a haptikus modalitással egészítjük ki. A haptikus kommunikáció egy viszonylag fiatal kutatási terület, amely potenciálisan forradalmasíthatja az ember-ember és az ember-gép interakciót.
A legújabb projektek/tevékenységek ezen a területen például a következőkkel foglalkoznak:
Haptikus kodekek
A fő célok a hatékony haptikus kommunikációs megközelítések kifejlesztése a hagyományos és a kialakulóban lévő kommunikációs hálózatokon, például a taktilis interneten és az 5G hálózatokon keresztül. Ennek érdekében tanulmányozzuk a hálózat jellemzőit, az emberi haptikus érzékelés pszichofizikai modelljét és a haptikus jelek érzékelési kódolását. E hagyományosan független területek metszéspontjában jelentős innováció történik.
Teleoperáció
A haptikus kommunikáció egyik tipikus alkalmazásaként a kétoldalú, haptikus visszacsatolásokkal ellátott teleoperáció a fő vizsgálati témánk. Célunk hatékony haptikus (kinesztetikus információ) kommunikációs megközelítések kidolgozása az időben késleltetett teleoperációhoz, a teleoperációs rendszer stabilitásának garantálása mellett. Csoportunk egyik fő szakterülete a haptikus kodekek, a vezérlési sémák és a hálózati erőforrások közös optimalizálása a lehető legjobb minőségű teleoperáció elérése érdekében.
Deformálható tárgyak megragadásának tervezése pontfelhő adatok és tapintásérzékelők alapján
Az intelligens robotoknak képesnek kell lenniük arra, hogy különböző tárgyakat tartalmazó, strukturálatlan környezetben működjenek. A deformálható tárgyak manipulálása különösen nagy kihívást jelent, mivel az érintkezés a megragadás során változik. Fontos továbbá, hogy a tárgy ne sérüljön meg, és elkerüljük a nemkívánatos hatásokat, például egy nyitott tartály tartalmának a deformáció okozta kiömlését. Ez a projekt a megragadás tervezésével és a deformálható tárgyak manipulálásával foglalkozik. Az optimális megragadási testtartást először ismert tárgyak esetében határozzuk meg a deformációs és érintkezési elemzések alapján. Az ismeretlen tárgyakat ezután pontfelhőadatok és tapintásérzékelők alapján úgy ismerjük fel, hogy az optimális testtartással megragadhatók legyenek, amit csúszásérzékelés és fogásadaptáció követ. Az algoritmusok háztartási környezetben vagy távműködtetési forgatókönyvben is alkalmazhatók. Utóbbi esetben a kezelő határozza meg a manipulálandó tárgyat, és a teleoperátornak képesnek kell lennie az autonóm megragadásra, mivel a hálózati késleltetés miatt a működés kihívást jelent. A tárgyat a kezelő ezt követően biztonságosan manipulálhatja.
Az anyagok felületi osztályozása és paraméterezése
A modern multimédiás rendszerekben a vizuális és auditív információk dominálnak. Ezeknek a modalitásoknak a megszerzése, tárolása, továbbítása és megjelenítése olyan minőségi szintet ért el, amelyet jellemzően nagy felbontásúnak (HD) vagy annál jobbnak neveznek. Hasonló HD-technológia áll rendelkezésre az audió esetében is. Ezzel szemben a tapintást (más néven haptikát) célzó műszaki megoldások még nem érték el ugyanezt a fejlettségi szintet. A haptikus interakcióval összefüggésben a kinesztetikus és a tapintásos interakciókat általában külön-külön vizsgálják, mivel különböző érzékelési mechanizmusok játszanak szerepet. Míg a kinesztetikus modalitást a teleoperációs rendszerek összefüggésében széles körben tanulmányozták, a tapintási benyomások elemzése, feldolgozása és reprodukálása eddig viszonylag kevés figyelmet kapott. Ez meglepő, tekintve, hogy mi emberek nagymértékben támaszkodunk a tapintási modalitásra a környezetünkkel való interakció során. Egy virtuális valóság alkalmazásban például a felhasználó tipikus szándéka, hogy fizikailag interakcióba lépjen a virtuális jelenet tárgyaival, és megtapasztalja azok anyagi és felületi tulajdonságait. Számos kihívást kell leküzdeni ahhoz, hogy a taktilis megoldások elérjék a megfelelő HD-videó- vagy hangmegoldásokhoz hasonló fejlettségi szintet. A virtuális valóság (VR), a kiterjesztett valóság (AR) és a távjelenlét közelmúltbeli fejlődésével azonban a téma gyorsan nyer jelentőséget, és olyan új alkalmazási területek alaptechnológiájává válik, mint a taktilis visszajelzéssel ellátott e-kereskedelem (T-Commerce) vagy az érintéssel kiegészített VR-rendszerek (T-VR).
Egy fontos előfeltétele ennek a célnak a kutatása. A különböző látási körülmények között képeket rögzítő kamerához hasonlóan a Texplorer koncepcionálisan a tárgyak haptikus tulajdonságainak megszerzésére szolgál. A főbb perceptuálisan releváns dimenziókat leíró jellemzőket úgy határozzuk meg, hogy egy objektum jellemzővektor-reprezentációját képezzük. Az anyagok osztályozásán túl további érzékszervi adatok felhasználhatók az anyagok virtuális környezetben történő reprezentálására, ami potenciálisan lehetővé teszi az anyagok virtuális bevásárlóközpontokban vagy online áruházakban történő megjelenítését a jövőben.
Az általunk végzett kutatás eredményének két fő jövőbeli alkalmazását látjuk. Először is, azonosítjuk az igényt egy alacsony költségű, anyagok azonosítására alkalmas rendszerre, hasonlóan a tartalomalapú képkereső rendszerhez a vizuális vagy az audiotartalom azonosítására szolgáló hangkereső motorhoz. Másodszor, a rögzített adatok és a kiszámított jellemzők a tárgyfelület tulajdonságainak modelljét alkothatják. Ez különösen érdekes a közelgő virtuális környezetekben, amelyek a látható és hallható tartalom mellett érintéses élményt is nyújtanak majd.
Az LMT Haptic Texture Database itt található.
Az LMT Haptic Texture Database itt található.