画像超解像技術は、既存の画像情報から欠けている画像詳細を再構成することによって、低解像度画像から高解像度画像を生成するプロセスを指します。
画像と比べて、ビデオ超解像技術はより複雑です。詳細なフレーム画像生成を必要とするだけでなく、さらに、画像間の動きの一貫性も維持する必要があるからです。
新しく発表された論文では、これらを考慮したビデオ超解像のための新しいモデル「TecoGAN」が提案されています。
次のアニメーションはTecoGANを使用して生成されたものです。細部まで綺麗に生成することができ、さらに時間的にも一致しています。通常ビデオはズームすると画質が劣化しますが、TecoGANを用いることで画質を落とさずに拡大することができます
https://ai-scholar.tech/wp-content/uploads/2019/05/Exurrl.gif
ビデオの場合、任意の超解像フレームを生成するだけではなく、より長いシーケンスにわたって動きが一致している必要があります。
論文では、空間的な高周波の詳細と時間的な関係の両方を考慮するGANに基づいたアイデアを採用し、フレーム間の動きを一致させています。
続きはソースで
低解像度ビデオもすぐに高解像度に変換できる超解像アルゴリズムTecoGANがすごい | AI-SCHOLAR.TECH
https://ai-scholar.tech/treatise/tecogan-154/