Součást polévky Google Alphabet, Google Brain, dosáhla průlomu v ostření pixelového obrazu. Výzkumné centrum společnosti pro hluboké učení vymyslelo nový software, který dokáže vytvořit detailní obraz z extrémně rozpixelovaného zdroje.
Příznivci SLR Lounge možná poznají, že jsme minulý měsíc informovali o systému Google RAISR a že jim to může připadat trochu povědomé. Software Google Brain je však mnohem výkonnější. Zatímco RAISR dokáže vylepšit a zvětšit rozpoznatelnou fotografii, software Google Brain dokáže vzít zdroj 8×8 (s chytrou kombinací dvou neuronových sítí) vytvořit něco, co se podobá původnímu snímku.
Není možné vytvořit více detailů, než je na zdrojovém snímku; jak to tedy Google Brain dělá? Obrázek je nejprve prohnán kondicionační sítí, kde se software pokusí namapovat zdrojový obrázek 8×8 oproti jiným obrázkům s vysokým rozlišením, které byly zmenšeny na 8×8. Obrázek se pak zobrazí v síti. Za druhé, předběžná síť používá implementaci PixelCNN (generativní model obrázků s dohledatelnou pravděpodobností), aby se pokusila přidat do zdroje 8×8 realistické detaily ve vysokém rozlišení. V podstatě bere zmenšené reference a používá je ke zvětšení zdroje 8×8.
Příklad, který uvádí Ars Technica:
Pokud je směrem k hornímu okraji obrázku hnědý pixel, může jej předchozí síť identifikovat jako obočí: takže po zvětšení obrázku může vyplnit mezery kolekcí hnědých pixelů ve tvaru obočí.
V reálném testování byla technika superrozlišení Google Brain poměrně úspěšná, když oklamala lidské pozorovatele v 10 procentech případů, když jim ukázala počítačem vygenerované obličeje celebrit, a ve 28 procentech případů, když jim ukázala obrázky ložnic (50 procent by znamenalo dokonalé skóre). Pro srovnání, při použití stávajících technik bikubického vzorkování bylo oklamáno nula procent.
Běžný tropus typický pro kriminální seriály, kdy jsou pixelované záběry „zvětšeny a vylepšeny“, je vtipem, který scénáristé mezitím přestali používat, ale stává se realitou. Pokud byste se chtěli dozvědět více o technologii, která stojí za „rekurzivním superrozlišením pixelů“, společnost Google vydala článek zde.