数枚の写真から立体的な顔を作りリアルタイムで動かす技術、従来比13倍高速に

Appleの研究チームは、数枚の人物画像と表情の指示信号から、立体的な人間の頭部をリアルタイムで動かす技術「GHARP（Real-time Gaussian Head Animation from Large-scale Reconstruction Prior）」を発表した。

従来の表情駆動型アバター技術では、表情データに身体の姿勢や衣服の位置情報が含まれないため、入力情報が不足し、描画時に身体の外見が平均化されて輪郭のぼやけや時間的なちらつきが生じる課題があった。GHARPではこの問題を解決するため、生成対象の身体を入力参照画像と適合させる「ボディ整列ネットワーク」を導入し、学習時の曖昧さを排除した。

また、処理を2段階に分離した点も特徴だ。対象者の形状や外見を事前にオフラインで構築する段階と、利用時に表情の変化に応じた差分を予測するアニメーション段階に分けた。事前学習済みモデルの潜在空間を活用することで表情の変化を局所的に扱い、モバイル端末向けに最適化された軽量なネットワークでの高速な動作を可能にした。

性能検証において、GHARPは「Ava-256」ベンチマークで最高水準の品質を達成した。米エヌビディアのGPU「A100」上での検証では、扱うガウス表現の要素数を8分の1に削減しながら、最大13倍の高速動作を記録したとしている。