GAN-Supervised Dense Visual Alignment

[IsHYuhi]

INFO

author

William Peebles¹ Jun-Yan Zhu² Richard Zhang³ Antonio Torralba⁴ Alexei A. Efros¹ Eli Shechtman³

affiliation

¹UC Berkeley ²Carnegie Mellon University ³Adobe Research ⁴MIT CSAIL

conference or year

CVPR 2022 - Oral Presentation

link

project page
arXiv
実装

概要

• dense visual alignmentタスクにてGANで生成されたデータのみで学習．
• Inspired by the classic Congealing method, our GANgealing algorithm trains a Spatial Transformer to map random samples from a GAN trained on unaligned data to a common, jointly-learned target mode.
• 8つのデータセットにおいて既存のself-spervised learningを大きく上回る, supervised learningに匹敵ないし上回る性能を達成．

pair-wise alignmentではなくglobal joint alignment(データセット全体で画像のalignmentを行う)問題．joint alignmentされたデータセットで学習するとアライメントされていないデータで学習するよりも高品質の生成モデルを生成できるという報告もある(FFHQ, AFHQ, CelebA等)

提案手法

$G$: StyleGANv2
$T$: Spatial Transformer Networks
$w$: latent vector $w$~$W$
$c$: fixed latent vector

$G$はunaligned dataで学習．Gは入力に関してdifferentialbleなので，$c$を最適化可能．
Tが変換するのが容易になるようなfixed latent vector $c$になるように調整．より多くの画像から到達可能な別のベクトルに最適化．

このままでは同じようなターゲットイメージを得るのには適していない．$G(c)$が$G(w)$の外観を維持しながら，姿勢と方向が同じターゲットを構築できることが理想なので，$w$を$c$の一部に一致するようにして学習．
実際，$mix(c, w)$はstyle mixingを行っている．$c$でラフにpose等をコントロール．$w$を後半のレイヤーに与えて，texture等をコントロール．

$c$は$W$空間のtop-N主成分方向$d$の線型結合で表される．実際に$c$は直接最適化されておらず，主成分係数$\alpha$を最適化している．

$ \bar{w} $はmean $w$ vector. これはStyleGANの$W$空間はかなり表現が豊かなので，制約がない場合($c$をそのまま最適化)すると，自然画像のmanifoldから遠いpoorな画像が生成される．Nを小さくし，$c$をmanifold上に維持する．

LSUN Horsesは非常に多様な姿勢を持つデータセットであるため，クラスタリングを施して，それぞれのクラスタごとに$T$を学習させている．実画像でテストを行う際には，対応するクラスタを見つける必要がある．そこで，GAN Inversionなどの方法が考えられるが，ここでは単純な分類を行って該当するクラスタを判定している．分類機には$T$の重みを用いる (warpのためのheadをランダムに初期化したclassificationのheadに置き換えている)．

検証　　

ablation study

新規性

In this paper, we showed that GANs can be used to train highly competitive dense correspondence algorithms from scratch with our proposed GAN-Supervised Learning framework.

議論，展望

Comment

date

30th May., 2022