8×8ピクセルの極小画像から元の画像を予想する技術、Googleが開発　夢のモザイク除去へ

ディープラーニングについて研究するGoogle Brainが、高解像度画像を8×8(64)ピクセルに
変換した画像から元の画像を推測する技術「Pixel Recursive Super Resolution」を発表しました。

Pixel Recursive Super Resolution
(PDFファイル)https://arxiv.org/pdf/1702.00783.pdf

Google Brain super-resolution image tech makes “zoom, enhance!” real | Ars Technica
https://arstechnica.com/information-technology/2017/02/google-brain-super-resolution-zoom-enhance/

下の画像の右端が元の「ソース画像」で、これを8×8ピクセルサイズに圧縮したのが左端の
「8×8サンプル」です。この8×8サンプルからGoogle Brainのディープラーニング技術が予想した
元画像が中央の列の「32×32サンプル」。8×8サンプルから16倍の解像度にアップスケールされた
予想画像は、8×8サンプルの少ない情報からソース画像に近い画像を再現できているのがわかります。

Google Brainは2つのニューラルネットワークトレーニングを用いて画像予測を行っています。
一つは似たような高解像度イメージを圧縮したデータと8×8サンプルを比較してパターンと色をチェックする
「conditioning network」で、もう一つがPixelCNNを使って高解像の詳細部分を追加する「prior network」。
この2つのニューラルネットワークを組み合わせることで予測画像を作成しているとのこと。

左端が8×8サンプルで、残りの4つがニューラルネットワークから作り出された4種類の予測画像。
人物画だけでなく寝室のイメージを再現することもできます。

もちろんPixel Recursive Super Resolutionは完璧に元画像を再現できるわけではありませんが、
Pixel Recursive Super Resolutionの技術を高めていくことで、映画の世界でよくある「もっと画像をアップ
(ズーム)にしてみて！」というシーンが現実のものになるかもしれません。

http://gigazine.net/news/20170208-pixel-recursive-super-resolution/