Een onderdeel van Google’s Alphabet soep, Google Brain, had een doorbraak in het verscherpen van pixelige beelden. Het deep learning-onderzoekscentrum van het bedrijf bedacht een nieuwe software die een gedetailleerd beeld kan maken van een extreem gepixelde bron.
Dagelijkse volgers van SLR Lounge herkennen misschien dat we vorige maand berichtten over Google RAISR en dit komt misschien een beetje bekend voor. De software van Google Brain is echter veel krachtiger. Waar RAISR een herkenbare foto kan verbeteren en vergroten, kan de software van Google Brain een 8×8 bron (met de slimme combinatie van twee neurale netwerken) iets creëren dat lijkt op de originele foto.
Het is onmogelijk om meer detail te creëren dan er in de bronafbeelding zit; dus hoe doet Google Brain het dan? Het beeld wordt eerst door een conditioneringsnetwerk gehaald, waarbij de software probeert de 8×8 bron in kaart te brengen tegen andere beelden met een hoge resolutie die zijn verkleind tot 8×8. Ten tweede gebruikt het conditionerende netwerk een implementatie van het PixelCNN (een generatief model van afbeeldingen met een aannemelijke waarschijnlijkheid) om te proberen realistische hogeresolutiedetails aan de 8×8 bron toe te voegen. In wezen neemt het gedownsizede referenties en gebruikt die om de 8×8 bron op te schalen.
Een voorbeeld van Ars Technica:
Als er zich bovenaan de afbeelding een bruine pixel bevindt, kan het netwerk dit identificeren als een wenkbrauw: wanneer de afbeelding wordt opgeschaald, kunnen de gaten worden opgevuld met een wenkbrauwvormige verzameling bruine pixels.
In tests in de echte wereld slaagde de superresolutietechniek van Google Brain er redelijk goed in menselijke waarnemers 10 procent van de tijd voor de gek te houden wanneer ze computergegenereerde gezichten van beroemdheden te zien kregen en 28 procent wanneer ze beelden van slaapkamers te zien kregen (50 procent zou een perfecte score zijn). Ter vergelijking: nul procent werd voor de gek gehouden bij gebruik van bestaande bicubische bemonsteringstechnieken.
De gebruikelijke trope die typisch is voor misdaaddrama’s, waarbij de pixelige beelden worden “ingezoomd en verbeterd” is een grap die de schrijvers sindsdien hebben gestopt, maar het is een realiteit aan het worden. Als u meer wilt weten over de technologie achter de ‘Pixel Recursive Super Resolution’, heeft Google hier een paper uitgebracht.