Ein wesentlicher Schwerpunkt unserer Forschungsaktivitäten liegt im Bereich der haptischen Kommunikation. Echtes Eintauchen in eine entfernte Umgebung erfordert die Fähigkeit, mit entfernten Objekten physisch zu interagieren und buchstäblich mit anderen Menschen in Kontakt zu treten. Das Berühren und Manipulieren von Objekten aus der Ferne wird möglich, wenn wir die traditionelle audio-visuelle Kommunikation durch die haptische Modalität ergänzen. Die haptische Kommunikation ist ein relativ junges Forschungsgebiet, das das Potenzial hat, die Mensch-Mensch- und Mensch-Maschine-Interaktion zu revolutionieren.
Aktuelle Projekte/Aktivitäten in diesem Bereich befassen sich beispielsweise mit:
Haptischen Codecs
Die Hauptziele sind die Entwicklung effizienter haptischer Kommunikationsansätze über traditionelle und neu entstehende Kommunikationsnetze, wie das taktile Internet und die 5G-Netze. Zu diesem Zweck untersuchen wir die Netzwerkcharakteristiken, das psychophysische Modell der menschlichen haptischen Wahrnehmung und die Wahrnehmungscodierung haptischer Signale. Eine wichtige Innovation findet an der Schnittstelle dieser traditionell unabhängigen Bereiche statt.
Teleoperation
Als typische Anwendung der haptischen Kommunikation ist die bilaterale Teleoperation mit haptischen Rückmeldungen unser Hauptuntersuchungsthema. Ziel ist es, effiziente haptische (kinästhetische Information) Kommunikationsansätze für die zeitverzögerte Teleoperation zu entwickeln und dabei die Stabilität des Teleoperationssystems zu gewährleisten. Eine wichtige Expertise in unserer Gruppe ist die gemeinsame Optimierung von haptischen Codecs, Kontrollschemata und Netzwerkressourcen, um die bestmögliche Teleoperationsqualität zu erreichen.
Greifplanung für deformierbare Objekte basierend auf Punktwolkendaten und taktilen Sensoren
Intelligente Roboter sollten in der Lage sein, in unstrukturierten Umgebungen mit verschiedenen Objekten zu operieren. Das Manipulieren von verformbaren Objekten ist eine besondere Herausforderung, da sich der Kontakt während des Greifens verändert. Darüber hinaus ist es wichtig, das Objekt nicht zu beschädigen und unerwünschte Effekte zu vermeiden, wie z. B. das Verschütten des Inhalts eines offenen Behälters durch die Verformung. Dieses Projekt konzentriert sich auf die Planung des Greifens und die Manipulation deformierbarer Objekte. Die optimale Greifhaltung wird zunächst für bekannte Objekte auf der Grundlage der Deformations- und Kontaktanalysen bestimmt. Unbekannte Objekte werden dann anhand von Punktwolkendaten und taktilen Sensoren erkannt, so dass sie mit den optimalen Haltungen gegriffen werden können, gefolgt von Schlupferkennung und Griffanpassungen. Die Algorithmen können in einer häuslichen Umgebung oder in einem Teleoperationsszenario angewendet werden. Im letzteren Fall gibt der Bediener das zu manipulierende Objekt vor, und der Teleoperator sollte in der Lage sein, es autonom zu greifen, da der Betrieb aufgrund der Netzwerkverzögerung schwierig ist. Das Objekt kann anschließend vom Bediener sicher manipuliert werden.
Oberflächenklassifizierung und Parametrisierung von Materialien
Visuelle und auditive Informationen sind in modernen Multimedia-Systemen vorherrschend. Die Erfassung, Speicherung, Übertragung und Darstellung dieser Modalitäten hat ein Qualitätsniveau erreicht, das üblicherweise als High Definition (HD) und darüber hinaus bezeichnet wird. Eine ähnliche HD-Technologie ist auch für Audio verfügbar. Technische Lösungen für den Tastsinn (auch als Haptik bezeichnet) sind dagegen noch nicht so ausgereift. Im Zusammenhang mit der haptischen Interaktion werden kinästhetische und taktile Interaktionen in der Regel getrennt betrachtet, da unterschiedliche Wahrnehmungsmechanismen beteiligt sind. Während die kinästhetische Modalität im Zusammenhang mit Teleoperationssystemen ausgiebig untersucht wurde, wurde der Analyse, Verarbeitung und Reproduktion von taktilen Berührungseindrücken bisher vergleichsweise wenig Aufmerksamkeit geschenkt. Dies ist erstaunlich, wenn man bedenkt, dass wir Menschen uns bei der Interaktion mit unserer Umwelt stark auf die taktile Modalität verlassen. In einer Virtual-Reality-Anwendung beispielsweise ist es die typische Absicht eines Benutzers, mit den Objekten in der virtuellen Szene physisch zu interagieren und ihre Material- und Oberflächeneigenschaften zu erfahren. Bis taktile Lösungen das gleiche Niveau erreichen wie entsprechende HD-Video- oder Audiolösungen, müssen noch viele Herausforderungen bewältigt werden. Mit den jüngsten Fortschritten in den Bereichen Virtual Reality (VR), Augmented Reality (AR) und Telepräsenz gewinnt das Thema jedoch rasant an Relevanz und wird zu einer Enabling Technology für neuartige Anwendungsfelder, wie E-Commerce mit taktilem Feedback (T-Commerce) oder Touch-Augmented-VR-Systeme (T-VR).
Eine wichtige Voraussetzung für dieses Ziel wird erforscht. Ähnlich wie eine Kamera zur Aufnahme von Bildern unter verschiedenen Betrachtungsbedingungen ist der Texplorer konzeptionell darauf ausgelegt, haptische Eigenschaften von Objekten zu erfassen. Merkmale, die wichtige wahrnehmungsrelevante Dimensionen beschreiben, werden definiert, um eine Merkmalsvektor-Repräsentation eines Objekts zu bilden. Über die Klassifizierung von Materialien hinaus können weitere sensorische Daten verwendet werden, um die Materialien in einer virtuellen Umgebung darzustellen, was eine zukünftige Verwendung für die Darstellung von Materialien in virtuellen Einkaufszentren oder Online-Shops ermöglichen könnte.
Wir sehen zwei wichtige zukünftige Anwendungen für die Ergebnisse unserer Forschung. Erstens sehen wir die Notwendigkeit für ein kostengünstiges System, das in der Lage ist, Materialien zu identifizieren, ähnlich wie ein inhaltsbasiertes Bild-Retrieval-System für visuelle oder eine Audio-Retrieval-Maschine für die Identifizierung von Audio-Inhalten. Zweitens können die aufgezeichneten Daten und berechneten Merkmale ein Modell der Oberflächeneigenschaften von Objekten bilden. Dies ist besonders interessant für zukünftige virtuelle Umgebungen, die neben sichtbaren und hörbaren Inhalten auch ein haptisches Erlebnis bieten werden.
Die LMT Haptic Texture Database finden Sie hier.