En del av Googles Alphabet-soppa, Google Brain, har fått ett genombrott när det gäller att skärpa pixelerade bilder. Företagets forskningscenter för djupinlärning utarbetade en ny mjukvara som kan skapa en detaljerad bild från en extremt pixelerad källa.
Dagliga följare av SLR Lounge kanske känner igen att vi rapporterade om Google RAISR förra månaden och detta kan verka lite bekant. Google Brain’s mjukvara är dock mycket mer kraftfull. Medan RAISR kan förbättra och förstora ett igenkännbart foto kan programvaran från Google Brain ta en 8×8-källa (med den smarta kombinationen av två neurala nätverk) kan skapa något som liknar originalbilden.
Det är omöjligt att skapa mer detaljrikedom än vad som finns i källbilden; så hur gör Google Brain det? Bilden körs först genom ett konditioneringsnätverk, där programvaran försöker kartlägga 8×8-källan mot andra högupplösta bilder som har minskats till 8×8. För det andra använder det tidigare nätverket en implementering av PixelCNN (en generativ modell av bilder med en lättfattlig sannolikhet) för att försöka lägga till realistiska högupplösta detaljer till 8×8-källan. I huvudsak tar det nedskalade referenser och använder dem för att uppgradera 8×8-källan.
Ett exempel från Ars Technica:
Om det finns en brun pixel längst upp i bilden kan det tidigare nätverket identifiera den som ett ögonbryn: så när bilden skalas upp kan det fylla ut luckorna med en ögonbrynsformad samling bruna pixlar.
I tester i verkligheten var Google Brain’s superupplösningsteknik relativt framgångsrik och lurade mänskliga observatörer i 10 procent av fallen när den visade datorgenererade kändisansikten och i 28 procent av fallen när den visade bilder av sovrum (50 procent skulle vara ett perfekt resultat). Som referens lurades noll procent när man använde befintliga bikubiska samplingstekniker.
Den vanliga tropen som är typisk för kriminaldramaserier när det pixelerade bildmaterialet är ”inzoomat och förstärkt” är ett skämt som författarna sedan dess har slutat med, men det håller på att bli en verklighet. Om du vill veta mer om tekniken bakom ”Pixel Recursive Super Resolution” har Google släppt en artikel här.