Część Google’s Alphabet soup, Google Brain, miała przełom w wyostrzaniu rozpikselowanych obrazów. Centrum badawcze głębokiego uczenia się firmy opracowało nowe oprogramowanie, które może stworzyć szczegółowy obraz z niezwykle rozpikselowanego źródła.

Codzienni zwolennicy SLR Lounge mogą rozpoznać, że informowaliśmy o Google RAISR w zeszłym miesiącu i to może wydawać się nieco znajome. Jednakże, Google Brain’s software jest znacznie bardziej potężny. Podczas gdy RAISR może poprawić i powiększyć rozpoznawalne zdjęcie, oprogramowanie z Google Brain może wziąć źródło 8×8 (ze sprytnym połączeniem dwóch sieci neuronowych) może stworzyć coś, co przypomina oryginalny obraz.

Niemożliwe jest stworzenie więcej szczegółów niż jest w źródłowym obrazie; więc jak Google Brain to robi? Obraz jest najpierw przepuszczany przez sieć warunkującą, gdzie oprogramowanie próbuje zmapować źródło 8×8 względem innych obrazów o wysokiej rozdzielczości, które zostały zmniejszone do 8×8. Po drugie, sieć wstępna wykorzystuje implementację PixelCNN (generatywny model obrazów z możliwym do określenia prawdopodobieństwem), aby spróbować dodać realistyczne szczegóły wysokiej rozdzielczości do źródła 8×8. W istocie, bierze ona pomniejszone referencje i używa ich do powiększenia źródła 8×8.

Przykład dostarczony przez Ars Technica:

Jeśli na górze obrazu znajduje się brązowy piksel, sieć może zidentyfikować go jako brwi: więc, gdy obraz jest skalowany, może wypełnić luki kolekcją brązowych pikseli w kształcie brwi.

W rzeczywistym świecie testowania Google Brain’s super-rozdzielczości technika była dość udany oszukując ludzkich obserwatorów 10 procent czasu, gdy pokazano komputerowo generowane twarze celebrytów i 28 procent, gdy pokazano obrazy sypialni (50 procent byłoby doskonały wynik). Jako odniesienie, zero procent zostało oszukanych przy użyciu istniejących technik próbkowania bicubic.

Wspólny trope typowy dla kryminalnych pokazów dramatycznych, gdy rozpikselowany materiał filmowy jest „powiększony i wzmocniony” jest żartem, że pisarze od tego czasu zatrzymany, ale to staje się rzeczywistością. Jeśli chciałbyś dowiedzieć się więcej o technologii stojącej za „Pixel Recursive Super Resolution”, Google opublikowało dokument tutaj.

.