Une partie de la soupe Alphabet de Google, Google Brain, a fait une percée dans l’affinement des images pixellisées. Le centre de recherche d’apprentissage profond de la société a conçu un nouveau logiciel qui peut créer une image détaillée à partir d’une source extrêmement pixelisée.

Les suiveurs quotidiens de SLR Lounge pourraient reconnaître que nous avons fait un rapport sur Google RAISR le mois dernier et cela peut sembler un peu familier. Cependant, le logiciel de Google Brain est beaucoup plus puissant. Alors que RAISR peut améliorer et agrandir une photo reconnaissable, le logiciel de Google Brain peut prendre une source 8×8 (avec la combinaison intelligente de deux réseaux neuronaux) peut créer quelque chose qui ressemble à l’image originale.

Il est impossible de créer plus de détails qu’il n’y en a dans l’image source ; alors comment Google Brain le fait-il ? L’image passe d’abord par un réseau de conditionnement, où le logiciel essaie de mettre en correspondance la source 8×8 avec d’autres images haute résolution qui ont été réduites à 8×8. Ensuite, le réseau antérieur utilise une mise en œuvre du PixelCNN (un modèle génératif d’images avec une vraisemblance traçable) pour essayer d’ajouter des détails réalistes en haute résolution à la source 8×8. En substance, il prend des références réduites et les utilise pour augmenter la source 8×8.

Un exemple fourni par Ars Technica:

S’il y a un pixel marron vers le haut de l’image, le réseau antérieur pourrait l’identifier comme un sourcil : ainsi, lorsque l’image est mise à l’échelle, il pourrait remplir les vides avec une collection de pixels marrons en forme de sourcil.

Dans des tests en conditions réelles, la technique de super-résolution de Google Brain a raisonnablement réussi à tromper des observateurs humains dans 10 % des cas lorsqu’on leur montrait des visages de célébrités générés par ordinateur et dans 28 % des cas lorsqu’on leur montrait des images de chambres à coucher (50 % serait un score parfait). À titre de référence, zéro pour cent ont été trompés lors de l’utilisation des techniques d’échantillonnage bicubique existantes.

Le trope commun typique des séries dramatiques criminelles lorsque les séquences pixélisées sont « zoomées et améliorées » est une blague que les auteurs ont depuis cessé, mais cela devient une réalité. Si vous souhaitez en savoir plus sur la technologie derrière la « super résolution récursive des pixels », Google a publié un article ici.