En del af Googles Alphabet-suppe, Google Brain, har haft et gennembrud med hensyn til at skærpe pixelerede billeder. Virksomhedens deep learning forskningscenter har udtænkt en ny software, der kan skabe et detaljeret billede fra en ekstremt pixeleret kilde.
Daglige følgere af SLR Lounge kan måske genkende, at vi rapporterede om Google RAISR i sidste måned, og dette virker måske en smule bekendt. Google Brain’s software er dog meget mere kraftfuld. Mens RAISR kan forbedre og forstørre et genkendeligt foto, kan softwaren fra Google Brain tage en 8×8-kilde (med den smarte kombination af to neurale netværk) kan skabe noget, der ligner det oprindelige billede.
Det er umuligt at skabe flere detaljer, end der er i kildebilledet; så hvordan gør Google Brain det? Billedet køres først gennem et konditioneringsnetværk, hvor softwaren forsøger at kortlægge 8×8-kildebilledet i forhold til andre billeder i høj opløsning, der er blevet nedskaleret til 8×8. For det andet bruger det forudgående netværk en implementering af PixelCNNN (en generativ model af billeder med en overkommelig sandsynlighed) til at forsøge at tilføje realistiske detaljer i høj opløsning til 8×8-kilden. I det væsentlige tager det nedskalerede referencer og bruger dem til at opskalere 8×8-kilden.
Et eksempel fra Ars Technica:
Hvis der er en brun pixel mod toppen af billedet, vil det forudgående netværk måske identificere den som et øjenbryn: Så når billedet skaleres op, vil det måske udfylde hullerne med en øjenbrynsformet samling af brune pixels.
I test i den virkelige verden lykkedes det Google Brain’s superopløsningsteknik rimeligt godt at narre menneskelige observatører 10 procent af tiden, når der blev vist computergenererede berømthedsansigter, og 28 procent, når der blev vist billeder af soveværelser (50 procent ville være en perfekt score). Som reference blev nul procent narret ved brug af eksisterende bicubiske samplingsteknikker.
Den almindelige trope, der er typisk for kriminaldrama-serier, når de pixelerede optagelser er “zoomet og forstærket”, er en joke, som forfatterne siden har stoppet, men det er ved at blive en realitet. Hvis du gerne vil vide mere om teknologien bag “Pixel Recursive Super Resolution”, har Google frigivet en artikel her.