Teil von Googles Alphabet-Suppe, Google Brain, hatte einen Durchbruch bei der Schärfung verpixelter Bilder. Das Deep-Learning-Forschungszentrum des Unternehmens hat eine neue Software entwickelt, die aus einer extrem verpixelten Quelle ein detailliertes Bild erstellen kann.
Wer SLR Lounge täglich verfolgt, wird sich vielleicht daran erinnern, dass wir letzten Monat über Google RAISR berichtet haben, und das kommt einem vielleicht etwas bekannt vor. Allerdings ist die Software von Google Brain viel leistungsfähiger. Während RAISR ein erkennbares Foto verbessern und vergrößern kann, ist die Software von Google Brain in der Lage, aus einer 8×8-Quelle (mit der geschickten Kombination zweier neuronaler Netze) etwas zu erstellen, das dem Originalbild ähnelt.
Es ist unmöglich, mehr Details zu erstellen, als im Ausgangsbild vorhanden sind; wie macht Google Brain das also? Das Bild durchläuft zunächst ein Konditionierungsnetzwerk, in dem die Software versucht, die 8×8-Quelle mit anderen hochauflösenden Bildern zu vergleichen, die auf 8×8 verkleinert wurden. Zweitens verwendet das prior network eine Implementierung des PixelCNN (ein generatives Modell von Bildern mit einer überschaubaren Wahrscheinlichkeit), um zu versuchen, der 8×8-Quelle realistische hochauflösende Details hinzuzufügen. Im Wesentlichen nimmt es verkleinerte Referenzen und verwendet sie, um die 8×8-Quelle hochzuskalieren.
Ein Beispiel von Ars Technica:
Wenn es oben im Bild ein braunes Pixel gibt, könnte das vorherige Netzwerk dieses als Augenbraue identifizieren: Wenn das Bild also vergrößert wird, könnte es die Lücken mit einer augenbrauenförmigen Ansammlung von braunen Pixeln auffüllen.
In realen Tests war die Super-Resolution-Technik von Google Brain einigermaßen erfolgreich und täuschte menschliche Beobachter in 10 Prozent der Fälle, wenn computergenerierte Gesichter von Prominenten gezeigt wurden, und in 28 Prozent der Fälle, wenn Bilder von Schlafzimmern gezeigt wurden (50 Prozent wäre ein perfektes Ergebnis). Zum Vergleich: Bei der Verwendung bestehender bikubischer Sampling-Techniken wurden null Prozent getäuscht.
Die für Krimiserien typische Trope, bei der das verpixelte Bildmaterial „gezoomt und verbessert“ wird, ist ein Witz, den die Autoren inzwischen aufgegeben haben, aber er wird immer mehr zur Realität. Wenn Sie mehr über die Technologie hinter der „Pixel Recursive Super Resolution“ wissen möchten, hat Google hier ein Papier veröffentlicht.