Googlen Alphabet-keittoon kuuluva Google Brain teki läpimurron pikselöityneiden kuvien terävöittämisessä. Yhtiön syväoppimisen tutkimuskeskus keksi uuden ohjelmiston, joka pystyy luomaan yksityiskohtaisen kuvan äärimmäisen pikselöityneestä lähteestä.
SLR Loungen päivittäiset seuraajat saattavat tunnistaa, että uutisoimme Googlen RAISR:stä viime kuussa ja tämä saattaa tuntua hieman tutulta. Google Brainin ohjelmisto on kuitenkin paljon tehokkaampi. Siinä missä RAISR voi parantaa ja suurentaa tunnistettavaa valokuvaa, Google Brainin ohjelmisto voi ottaa 8×8-kokoisen lähdekuvan (kahden neuroverkon nokkelalla yhdistelmällä) luoda jotain, joka muistuttaa alkuperäistä kuvaa.
Ei ole mahdollista luoda enemmän yksityiskohtia kuin lähdekuvassa on; miten Google Brain siis tekee sen? Kuva ajetaan ensin ilmastointiverkon läpi, jossa ohjelmisto yrittää kartoittaa 8×8-kokoisen lähdekuvan muihin korkean resoluution kuviin, jotka on pienennetty 8×8-kokoisiksi. Toiseksi edeltävä verkko käyttää PixelCNN:n toteutusta (kuvien generatiivinen malli, jonka todennäköisyys on kohtuullinen) yrittäessään lisätä realistisia korkean resoluution yksityiskohtia 8×8-lähteeseen. Pohjimmiltaan se ottaa pienennetyt referenssit ja käyttää niitä 8×8-lähteen suurentamiseen.
Ars Technican tarjoama esimerkki:
Jos kuvan yläosassa on ruskea pikseli, ennakkoverkko saattaa tunnistaa sen kulmakarvaksi: kun kuvaa skaalataan suuremmaksi, se saattaa siis täyttää aukot kulmakarvojen muotoisella kokoelmalla ruskeita pikseleitä.
Todellisissa testeissä Google Brainin superresoluutiotekniikka onnistui kohtuullisen hyvin huijaamaan ihmistarkkailijoita 10 prosenttia ajasta, kun heille näytettiin tietokoneella luotuja julkkiskasvoja, ja 28 prosenttia, kun heille näytettiin kuvia makuuhuoneista (50 prosenttia olisi täydellinen tulos). Vertailun vuoksi mainittakoon, että nolla prosenttia huijattiin, kun käytettiin nykyisiä bikubisia näytteenottotekniikoita.
Rikosdraamasarjoille tyypillinen yleinen trooppi, jossa pikselöityä kuvamateriaalia ”zoomataan ja parannetaan”, on vitsi, jonka käsikirjoittajatkin ovat sittemmin lopettaneet, mutta josta on tulossa todellisuutta. Jos haluat tietää lisää ”Pixel Recursive Super Resolution” -tekniikan taustalla olevasta tekniikasta, Google julkaisi paperin täällä.