PanoHead を使用して安定拡散生成された写真の 360 度ビューを合成
最近リリースされたPanoHead: Geometry-Aware 3D Full-Head Synthesis in 360°コード
https://github.com/sizhean/panohead を使用して、Stable Diffusion (DeliberateV2 モデルを使用) から生成された人々を試してみました。カメラのポーズ情報 (データセット フォルダー内の dataset.json 内) をどのように生成しているのかまだ理解できていないので、サンプル画像を使用し、ControlNet を実行して、画像のカメラ ポーズが同じであることを確認し、交換しました。 json配列内のラベルの画像ファイル名。
コードを実行するために、WSL Ubuntu を使用し、Cuda Toolkit 11.3 をインストールし、指示に従って conda 環境を作成しました。コードは複数の GPU を想定していると思うので、行を変更する必要がありましたdevice = torch.device('cuda')リポジトリ内のすべてのメイン Python ファイルに含まれています。
この結果を使用して、新しい首尾一貫した人物の Dreambooth トレーニング用の合成データセットを作成することが可能になる可能性があります (少し作業が必要ですが、品質をもう少し高める必要があります。おそらく、最初に img2img + ControlNet を介して画像を実行してクリーンアップする必要があります)上）。
入力は 1 つの画像、推定されたカメラのポーズ、および被写体の白黒のセグメンテーション マスクです。3090 での処理はかなり高速です。
3090Ti を搭載した私のシステムでは、処理中にピーク時に 8GB 弱の VRAM を使用しています。
次のステップは、photo-to-3d-mesh と組み合わせることです
