ズームとエンハンス|Google Brain 超解像技術でテレビの台詞を現実に

Google の Alphabet スープの一部である Google Brain は、ピクセル化した画像の鮮明化で画期的な進歩を遂げました。 同社のディープラーニング研究センターは、極端にピクセル化されたソースから詳細な画像を作成できる新しいソフトウェアを考案しました。

SLR Lounge の毎日のフォロワーは、先月 Google RAISR について報告したので、これは少し見覚えがあるかもしれません。 しかし、Google Brainのソフトウェアは、より強力です。 RAISR が認識可能な写真を強調したり拡大したりできるのに対し、Google Brain のソフトウェアは 8×8 のソースを(2 つのニューラルネットワークの巧妙な組み合わせにより)元のイメージに似たものを作成することが可能です。 そこで、ソフトウェアは、8×8に縮小された他の高解像度画像に対して、8×8 のソースをマッピングしようとします。 次に、先行ネットワークはPixelCNN(扱いやすい尤度を持つ画像の生成モデル)の実装を使用し、8×8のソースに現実的な高解像度のディテールを追加しようとする。

様々な異なる超解像技術です。 一番右の 3 つの列は Google Brain の手法です。

Ars Technica による例:

画像の上部に茶色のピクセルがある場合、事前ネットワークはそれを眉毛として識別するかもしれません。

実際のテストでは、Google Brain の超解像技術は、コンピュータで生成した有名人の顔を見せた場合は 10%、寝室の画像を見せた場合は 28% で、人間の観察者をだますことに成功しました (50% であれば満点です)。 参考までに、既存のバイキュービック サンプリング技術を使用した場合は 0 % が騙されました。

刑事ドラマの番組によくある、画素化した映像を「ズームして強調する」というのは冗談ですが、作家はその後止めましたが、現実になってきているようですね。 Pixel Recursive Super Resolution」の技術についてもっと知りたい方は、Google がここで論文を発表しています