Het zwaartepunt van onze onderzoeksactiviteiten ligt op het gebied van haptische communicatie. Echte onderdompeling in een verre omgeving vereist de mogelijkheid tot fysieke interactie met objecten op afstand en om letterlijk in contact te komen met andere mensen. Het aanraken en manipuleren van objecten op afstand wordt mogelijk als we de traditionele audiovisuele communicatie uitbreiden met de haptische modaliteit. Haptische communicatie is een relatief jong onderzoeksdomein dat het potentieel heeft om een revolutie teweeg te brengen in de mens-mens en mens-machine interactie.
Recente projecten/activiteiten op dit gebied hebben bijvoorbeeld betrekking op:
Haptische codecs
De belangrijkste doelstellingen zijn het ontwikkelen van efficiënte haptische communicatie benaderingen over de tranditionele en de opkomende communicatienetwerken, zoals het Tactile Internet en de 5G netwerken. Daartoe bestuderen we de netwerkkarakteristieken, het psychofysische model van de menselijke haptische perceptie, en de perceptuele codering van haptische signalen. Een belangrijke innovatie gebeurt op het kruispunt van deze traditioneel onafhankelijke gebieden.
Teleoperatie
Als een typische toepassing van haptische communicatie, is bilaterale teleoperatie met haptische feedbacks ons belangrijkste studieonderwerp. Het doel is om efficiënte haptische (kinesthetische informatie) communicatie benaderingen te ontwikkelen voor tijdvertraagde teleoperatie, terwijl de stabiliteit van het teleoperatiesysteem gewaarborgd blijft. Een belangrijke expertise in onze groep is het gezamenlijk optimaliseren van de haptische codecs, controleschema’s, en netwerkbronnen om de best mogelijke teleoperatie kwaliteit te bereiken.
Grijpplanning voor vervormbare objecten op basis van puntenwolk data en tactiele sensoren
Intelligente robots moeten kunnen opereren in ongestructureerde omgevingen met verschillende objecten. Vooral het manipuleren van vervormbare voorwerpen is een uitdaging, omdat het contact tijdens het grijpen verandert. Verder is het belangrijk om het voorwerp niet te beschadigen en om ongewenste effecten te vermijden, zoals het morsen van de inhoud van een open container door de vervorming. Dit project richt zich op grijpplanning en manipulatie van vervormbare voorwerpen. De optimale grijphouding wordt eerst bepaald voor bekende objecten op basis van de vervormings- en contactanalyses. Onbekende objecten worden vervolgens herkend op basis van puntenwolkgegevens en tactiele sensoren, zodat ze kunnen worden vastgegrepen met de optimale houdingen, gevolgd door slipdetectie en grijpaanpassingen. De algoritmen kunnen worden toegepast in een huishoudelijke omgeving of een teleoperatiescenario. In het laatste geval geeft de bediener aan welk voorwerp moet worden gemanipuleerd en moet de telebediener in staat zijn het autonoom vast te grijpen, omdat de bediening door de vertraging van het netwerk een uitdaging vormt. Het object kan daarna veilig door de operator worden gemanipuleerd.
Vlakclassificatie en parametrisering van materialen
Visuele en auditieve informatie zijn overheersend in moderne multimediasystemen. De verwerving, opslag, transmissie en weergave van deze modaliteiten hebben een kwaliteitsniveau bereikt dat gewoonlijk wordt aangeduid als hoge definitie (HD) en hoger. Soortgelijke HD-technologie is ook beschikbaar voor audio. Technische oplossingen voor de tastzin (ook wel haptiek genoemd) hebben daarentegen nog niet hetzelfde niveau van verfijning bereikt. In de context van haptische interactie worden kinesthetische en tactiele interacties gewoonlijk afzonderlijk beschouwd, aangezien er verschillende perceptuele mechanismen bij betrokken zijn. Terwijl de kinesthetische modaliteit uitgebreid is bestudeerd in de context van teleoperatiesystemen, heeft de analyse, verwerking en reproductie van tactiele aanraakindrukken tot dusver betrekkelijk weinig aandacht gekregen. Dit is verrassend gezien het feit dat wij als mensen sterk afhankelijk zijn van de tactiele modaliteit om te interageren met onze omgeving. In een Virtual Reality toepassing, bijvoorbeeld, is een typische intentie van een gebruiker om fysiek te interageren met de objecten in de virtuele scène en om hun materiaal- en oppervlakte-eigenschappen te ervaren. Er moeten nog heel wat uitdagingen worden overwonnen voordat tactiele oplossingen hetzelfde niveau van verfijning zullen bereiken als overeenkomstige HD-video- of audio-oplossingen. Met de recente vooruitgang op het gebied van Virtual Reality (VR), Augmented Reality (AR) en Telepresence wint het onderwerp echter snel aan relevantie en wordt het een faciliterende technologie voor nieuwe toepassingsgebieden, zoals E-Commerce met tactiele feedback (T-Commerce) of Touch-Agmented VR-systemen (T-VR).
Een belangrijke voorwaarde voor deze doelstelling wordt momenteel onderzocht. Net als een camera voor het vastleggen van beelden onder verschillende kijkomstandigheden, is de Texplorer conceptueel ontworpen om haptische eigenschappen van objecten te verkrijgen. Kenmerken die de belangrijkste perceptueel relevante dimensies beschrijven worden gedefinieerd om een kenmerkvectorrepresentatie van een object te vormen. Naast de classificatie van materialen kunnen verdere zintuiglijke gegevens worden gebruikt om de materialen in een virtuele omgeving weer te geven, wat in de toekomst mogelijk kan worden gebruikt voor het weergeven van materialen in virtuele winkelcentra of online winkels.
We zien twee belangrijke toekomstige toepassingen voor het resultaat van ons uitgevoerde onderzoek. Ten eerste identificeren we de behoefte aan een goedkoop systeem dat in staat is materialen te identificeren, vergelijkbaar met een content-gebaseerd image retrieval systeem voor visuele of een audio retrieval engine voor audio content identificatie. Ten tweede kunnen de geregistreerde gegevens en berekende kenmerken een model vormen van de oppervlakte-eigenschappen van het object. Dit is bijzonder interessant in toekomstige virtuele omgevingen die naast zichtbare en hoorbare inhoud ook tastervaringen zullen bieden.
U kunt de LMT Haptic Texture Database hier vinden.