台詞や声優の声に同期したキャラクタアニメーション生成の自動化を行い、キャラクタモデリングやアニメーション制作の作業効率の向上を目指します。
技術課題
- キャラクタの唇の動きを生成： リップシンク（LipSync）
- キャラクタの顔表情を生成： フェイスシンク（FaceSync）
- キャラクタの振る舞い（頭部やBodyの動き）を生成： ビヘイブシンク（BehaveSync）
効果
キャラクタアニメーションを自動生成することで、制作現場での作業コスト・時間の大幅な短縮、CGクリエータの高能率化が期待されます。
- キャラクタの表情自動構築・再利用化、アニメーション制作支援
- 声優の音声からキャラクタの発話アニメーションを自動作成 など
研究ファイル
- 発話速度に応じたリップシンクアニメーションの生成法(2007.8)
- スタライズ機能を持つリップシンクアニメーション生成システム(2007.8)
- iFACe: インタラクティブ発話合成システム(2007.3)
- Blendshapesによるリップシンクアニメーションのためのキーフレーム削除法(2007.3)
- 高精度なリップシンクアニメーション実現のための発話データベース構築法 (2005.11)
- 音声にあわせてキャラクタの発話アニメーションに頭の動きを負荷(2005.8)
- 音素セグメンテーションを使って、台詞にあわせてキャラクタの発話アニメーションを生成(2005.8)