Głównym przedmiotem naszych badań jest obszar komunikacji haptycznej. Prawdziwe zanurzenie się w odległym środowisku wymaga możliwości fizycznej interakcji z odległymi obiektami i dosłownego kontaktu z innymi ludźmi. Dotykanie i manipulowanie obiektami na odległość staje się możliwe, jeśli tradycyjną komunikację audiowizualną uzupełnimy o modalność haptyczną. Komunikacja haptyczna jest stosunkowo młodą dziedziną badań, która ma potencjał zrewolucjonizowania interakcji człowiek-człowiek i człowiek-maszyna.
Ostatnie projekty/działania w tym obszarze dotyczą na przykład:
Kodeków haptycznych
Głównym celem jest rozwój wydajnych metod komunikacji haptycznej w tradycyjnych i nowo powstających sieciach komunikacyjnych, takich jak Dotykowy Internet i sieci 5G. W tym celu badamy charakterystykę sieci, psychofizyczny model ludzkiej percepcji haptycznej oraz percepcyjne kodowanie sygnałów haptycznych. Główna innowacja pojawia się na przecięciu tych tradycyjnie niezależnych obszarów.
Teleoperacja
Jako typowe zastosowanie komunikacji haptycznej, dwustronna teleoperacja z haptycznym sprzężeniem zwrotnym jest naszym głównym tematem badań. Celem jest opracowanie wydajnych metod komunikacji haptycznej (informacji kinestetycznej) dla teleoperacji opóźnionej w czasie, przy jednoczesnym zagwarantowaniu stabilności systemu teleoperacji. Głównym zadaniem naszej grupy jest wspólna optymalizacja kodeków haptycznych, schematów sterowania i zasobów sieciowych w celu osiągnięcia najlepszej możliwej jakości teleoperacji.
Planowanie chwytu dla deformowalnych obiektów na podstawie danych z chmury punktów i czujników dotykowych
Inteligentne roboty powinny być w stanie działać w nieuporządkowanych środowiskach z różnymi obiektami. Manipulowanie obiektami odkształcalnymi jest szczególnie trudne, ponieważ kontakt z nimi zmienia się podczas chwytania. Ponadto ważne jest, aby nie uszkodzić obiektu i uniknąć niepożądanych efektów, takich jak rozlanie zawartości otwartego pojemnika spowodowane deformacją. Projekt ten skupia się na planowaniu chwytu i manipulacji odkształcalnymi obiektami. Optymalna postawa chwytania jest najpierw wyznaczana dla znanych obiektów na podstawie analizy deformacji i kontaktu. Nieznane obiekty są następnie rozpoznawane na podstawie danych z chmury punktów i czujników dotykowych, tak aby mogły być chwytane z optymalną postawą, po czym następuje detekcja poślizgu i adaptacja chwytu. Algorytmy te mogą być stosowane w środowisku domowym lub w scenariuszu teleoperacji. W tym drugim przypadku, operator określa obiekt, którym ma manipulować, a teleoperator powinien być w stanie chwycić go autonomicznie, ze względu na trudną operację spowodowaną opóźnieniem sieci. Obiekt może być potem bezpiecznie manipulowany przez operatora.
Klasyfikacja powierzchni i parametryzacja materiałów
Informacja wizualna i dźwiękowa dominuje w nowoczesnych systemach multimedialnych. Pozyskiwanie, przechowywanie, przesyłanie i wyświetlanie tych modalności osiągnęło poziom jakości, który jest zwykle określany jako wysoka rozdzielczość (HD) i więcej. Podobna technologia HD dostępna jest również dla dźwięku. Rozwiązania techniczne związane ze zmysłem dotyku (określane również jako haptyka) nie osiągnęły jeszcze takiego poziomu zaawansowania. W kontekście interakcji haptycznych, interakcje kinestetyczne i dotykowe są zazwyczaj rozpatrywane oddzielnie, ponieważ zaangażowane są w nie różne mechanizmy percepcyjne. Podczas gdy modalność kinestetyczna była szeroko badana w kontekście systemów teleoperacji, analizie, przetwarzaniu i odtwarzaniu wrażeń dotykowych poświęcono do tej pory stosunkowo niewiele uwagi. Jest to zaskakujące, biorąc pod uwagę fakt, że jako ludzie w dużej mierze polegamy na modalności dotykowej w interakcji z naszym otoczeniem. Na przykład, w aplikacjach wirtualnej rzeczywistości, typową intencją użytkownika jest fizyczna interakcja z obiektami w wirtualnej scenie i doświadczenie ich właściwości materiałowych i powierzchniowych. Zanim rozwiązania dotykowe osiągną ten sam poziom zaawansowania, co odpowiadające im rozwiązania wideo lub audio HD, należy pokonać wiele wyzwań. Wraz z ostatnimi postępami w Virtual Reality (VR), Augmented Reality (AR) i Telepresence, temat ten jednak szybko zyskuje na znaczeniu i staje się technologią wspomagającą dla nowych obszarów zastosowań, takich jak E-Commerce z dotykowym sprzężeniem zwrotnym (T-Commerce) lub dotykowe systemy VR (T-VR).
Badany jest ważny warunek wstępny tego celu. Podobnie jak aparat fotograficzny do przechwytywania obrazów w różnych warunkach widzenia, Texplorer jest koncepcyjnie zaprojektowany do uzyskiwania właściwości haptycznych obiektów. Cechy opisujące główne percepcyjnie istotne wymiary są definiowane w celu utworzenia reprezentacji wektora cech obiektu. Poza klasyfikacją materiałów, dalsze dane sensoryczne mogą być użyte do reprezentacji materiałów w środowisku wirtualnym, co potencjalnie umożliwia przyszłe zastosowanie do wyświetlania materiałów w wirtualnych centrach handlowych lub sklepach internetowych.
Widzimy dwa główne przyszłe zastosowania dla wyników naszych badań. Po pierwsze, identyfikujemy potrzebę stworzenia taniego systemu zdolnego do identyfikacji materiałów, podobnego do systemu wyszukiwania obrazów opartego na treści (ang. content-based image retrieval) dla identyfikacji treści wizualnych lub silnika wyszukiwania dźwięku (ang. audio retrieval engine) dla identyfikacji treści audio. Po drugie, zarejestrowane dane i obliczone cechy mogą tworzyć model właściwości powierzchni obiektu. Jest to szczególnie interesujące w nadchodzących środowiskach wirtualnych, które będą zapewniać wrażenia dotykowe obok treści widzialnych i słyszalnych.
Bazę danych LMT Haptic Texture Database można znaleźć tutaj.