“棒人間”姿のVRアバターで取ったポーズを基に、画像生成AIで出力する美少女イラストの姿勢を指定する――こんなチャレンジをした人がいる。生成するキャラクターのポーズを制御できる技術を活用したもので、VR空間でアバターを動かせばいいので「かなり楽」と作成者のPuton.（@nao_minty）さんがTwitterに投稿した。
棒人間姿のアバターでポーズを取る様子（Puton.さんの投稿より）
アバターのポーズを基に生成したイラスト（Puton.さんの投稿より）ポーズ制御技術である「ControlNet」は「Stable Diffusion」などの画像生成AIでイラストを出力する際、棒人間のような3Dモデル「ボーン」（骨組み）を組み合わせてイラストの構図やキャラクターのポーズを指定するもの。通常なら3Dモデリングのスキルが必要な場合がある。
Puton.さんはソーシャルVRサービス「VRChat」ユーザーで、自分の動きをそのままアバターに反映できるフルトラッキング環境を持っていた。そこで「アバターでControlNet用のポーズ指定ができるのではないか」と思い付いたという。VRChatで使うアバターをボーン姿にして動かせるようにし、そのシーンをControlNetに入力したのだ。その結果、ポーズを指定する画像を簡単に入手できるようになったという。アバターの作成手順は以下の通りだ。
- アバター作成時の基本姿勢であるTポーズ（直立で両腕を横に伸ばした姿勢）の画像を用意する
- Tポーズ画像を基に、画像から人間の肩やひじの位置と姿勢を推定する技術「OpenPose」を使ってボーン画像を作成する
- ボーン画像の比率と色を基に、3Dモデリングソフト「Blender」でアバター用の3Dモデルを作成する
- モデルをUnityからVRChatにアップロードした
VRChat内でアバターを実装した様子（Puton.さんの投稿より）このボーン型アバターを複数人で使えば、キャラクターが複数いるシーンなども簡単に撮影できる他、VRChatのワールド（空間）や背景と合成することもできそうだという。また頭のサイズを変えられるようにすれば、生成するキャラクターの印象を調整できるかもしれないとしている。
課題としては、後ろを向いた際の精度が低い点を挙げた。棒人間のため、顔が前を向いているか後ろを向いているか分からないのだ。「後ろを向いた時は目と鼻に対応する部分を消すといった仕組みで改善できる」とPuton.さんは見込んでいる。
VRChat内で集合写真を撮った様子（Puton.さんの投稿より）
集合写真を基に生成したイラスト（Puton.さんの投稿より）Puton.さんは、作ったボーン型アバターを誰でも使えるようVRChat内で公開している。このアバターは、衣装などを着ているアバターに比べてポリゴン数が少なく動作が軽量で、見た目が面白いということもあり用途を知らない人も使うようになった。その結果「カオスなことになった」という。
ボーン型アバターがはやった様子（Puton.さんの投稿より）関連記事
関連リンク
からの記事と詳細 ( AI生成キャラのポーズを“棒人間アバター”で指定 「ControlNet」に ... - ITmedia NEWS )
https://ift.tt/78J5BPW
No comments:
Post a Comment