Tutkimustoimintamme pääpaino on haptisen viestinnän alalla. Todellinen uppoutuminen kaukaiseen ympäristöön edellyttää kykyä olla fyysisesti vuorovaikutuksessa kaukana olevien esineiden kanssa ja kirjaimellisesti ottaa yhteyttä muihin ihmisiin. Esineiden koskettaminen ja manipulointi etäältä on mahdollista, jos perinteistä audiovisuaalista viestintää täydennetään haptisella modaliteetilla. Haptinen viestintä on suhteellisen nuori tutkimusala, jolla on potentiaalia mullistaa ihmisen ja ihmisen ja koneen välinen vuorovaikutus.
Tämän alan viimeaikaiset hankkeet/toimet käsittelevät esimerkiksi seuraavia aiheita:
Haptiset koodekit
Päätavoitteena on kehittää tehokkaita haptisen viestinnän toimintatapoja perinteisissä ja kehittyvissä tietoliikenneverkoissa, kuten Tactile Internetissä ja 5G-verkoissa. Tätä varten tutkimme verkon ominaisuuksia, ihmisen haptisen havaitsemisen psykofyysistä mallia ja haptisten signaalien havaintokoodausta. Merkittävä innovaatio tapahtuu näiden perinteisesti itsenäisten alojen risteyskohdassa.
Teleoperaatio
Tyypillisenä haptisen viestinnän sovelluksena kahdenvälinen teleoperaatio, jossa on haptista palautetta, on tärkein tutkimusaiheemme. Tavoitteena on kehittää tehokkaita haptisen (kinesteettisen informaation) viestinnän lähestymistapoja ajallisesti viivästettyyn teleoperaatioon ja taata samalla teleoperaatiojärjestelmän vakaus. Ryhmämme tärkeimpänä asiantuntemuksena on optimoida yhdessä haptisia koodekkeja, ohjausjärjestelmiä ja verkkoresursseja parhaan mahdollisen teleoperaatiolaadun saavuttamiseksi.
Pistepilvitietoon ja tuntoaistiantureihin perustuva muodonmuutosobjektien tarttumissuunnittelu
Älykkäiden robottien tulisi pystyä toimimaan jäsentymättömissä ympäristöissä, joissa on erilaisia esineitä. Muodonmuutoskelpoisten esineiden manipulointi on erityisen haastavaa, koska kosketus muuttuu otteen aikana. Lisäksi on tärkeää olla vahingoittamatta esinettä ja välttää ei-toivottuja vaikutuksia, kuten muodonmuutoksen aiheuttama sisällön valuminen avoimeen astiaan. Tässä hankkeessa keskitytään deformoituvien esineiden otteen suunnitteluun ja manipulointiin. Optimaalinen tarttumisasento määritetään ensin tunnetuille esineille muodonmuutos- ja kosketusanalyysien perusteella. Tuntemattomat kohteet tunnistetaan sitten pistepilvitietojen ja tuntoantureiden perusteella siten, että niihin voidaan tarttua optimaalisilla asennoilla, minkä jälkeen havaitaan lipsahdus ja mukautetaan ote. Algoritmeja voidaan soveltaa kotiympäristössä tai teleoperaatioskenaariossa. Jälkimmäisessä tapauksessa operaattori määrittää käsiteltävän kohteen, ja teleoperaattorin pitäisi pystyä tarttumaan siihen itsenäisesti, koska toiminta on haastavaa verkon viiveestä johtuen. Tämän jälkeen operaattori voi turvallisesti manipuloida esinettä.
Materiaalien pintaluokittelu ja parametrisointi
Visuaalinen ja auditiivinen informaatio ovat hallitsevia nykyaikaisissa multimediajärjestelmissä. Näiden modaliteettien hankkiminen, tallentaminen, siirtäminen ja esittäminen ovat saavuttaneet laatutason, jota tyypillisesti kutsutaan teräväpiirtotekniikaksi (HD) ja sitä paremmaksi. Samanlaista HD-tekniikkaa on saatavilla myös äänentoistoon. Sen sijaan kosketusaistiin liittyvät tekniset ratkaisut (joita kutsutaan myös haptiseksi tekniikaksi) eivät ole vielä saavuttaneet samaa kehitystasoa. Haptisen vuorovaikutuksen yhteydessä kinesteettistä ja taktiilista vuorovaikutusta tarkastellaan yleensä erikseen, koska kyseessä ovat erilaiset havaintomekanismit. Vaikka kinesteettistä modaliteettia on tutkittu laajasti teleoperointijärjestelmien yhteydessä, taktiilisten kosketusvaikutelmien analysointiin, käsittelyyn ja toistamiseen on toistaiseksi kiinnitetty verrattain vähän huomiota. Tämä on yllättävää, kun otetaan huomioon, että me ihmiset turvaudumme voimakkaasti tuntoaistimodaliteettiin vuorovaikutuksessa ympäristömme kanssa. Esimerkiksi virtuaalitodellisuussovelluksissa käyttäjän tyypillinen aikomus on olla fyysisesti vuorovaikutuksessa virtuaalisen näyttämön objektien kanssa ja kokea niiden materiaali- ja pintaominaisuudet. On ratkaistava monia haasteita, ennen kuin taktiiliratkaisut saavuttavat saman tason kuin vastaavat HD-video- tai ääniratkaisut. Virtuaalitodellisuuden (Virtual Reality, VR), lisätyn todellisuuden (Augmented Reality, AR) ja telepresenssin viimeaikaisten edistysaskeleiden myötä aiheen merkitys kuitenkin kasvaa nopeasti, ja siitä on tulossa mahdollistava teknologia uusille sovellusalueille, kuten sähköiseen kaupankäyntiin tuntopalautteella (T-Commerce) tai kosketuksella täydennettyihin virtuaalitodellisuusjärjestelmiin (touch-augmented VR systems, T-VR).
Tärkeä edellytys tälle päämäärän saavuttamiselle on tutkittavana. Kuten kamera, jolla otetaan kuvia erilaisissa katseluolosuhteissa, Texplorer on konseptuaalisesti suunniteltu kohteiden haptisten ominaisuuksien saamiseksi. Tärkeimpiä havaitsemisen kannalta merkityksellisiä ulottuvuuksia kuvaavat piirteet määritellään, jotta esineestä saadaan ominaisuuksien vektoriedustus. Materiaalien luokittelun lisäksi muita aistitietoja voidaan käyttää materiaalien esittämiseen virtuaalisessa ympäristössä, mikä mahdollisesti mahdollistaa tulevaisuudessa materiaalien näyttämisen virtuaalisissa ostoskeskuksissa tai verkkokaupoissa.
Näkemyksemme mukaan suoritetun tutkimuksemme tuloksille on kaksi merkittävää tulevaisuuden sovellusta. Ensinnäkin tunnistamme tarpeen edulliselle järjestelmälle, joka kykenee tunnistamaan materiaaleja, samaan tapaan kuin sisältöön perustuva kuvien hakujärjestelmä visuaalista tai äänen hakujärjestelmä äänisisällön tunnistamista varten. Toiseksi tallennetuista tiedoista ja lasketuista ominaisuuksista voidaan muodostaa malli esineen pinnan ominaisuuksista. Tämä on erityisen mielenkiintoista tulevissa virtuaaliympäristöissä, jotka tarjoavat kosketuskokemuksen näkyvän ja kuultavan sisällön lisäksi myös kosketuskokemuksen.
LMT:n Haptic Texture Database -tietokanta löytyy täältä.