【Blender】AIテクスチャ生成アドオンDreamTexturesを検証してみた

Carson Katri氏が開発されているAIテクスチャ生成アドオン『DreamTextures』を少し触ってみましたので紹介させて頂きます。

インストール方法

githubのreleasesページよりwindows版なら、dream_textures-windows-cuda.7zをダウンロードします。

解凍したdream_textures-windows-cuda.zipをプリファレンスのアドオンからインストールするのですが、自分の場合はこちらのインストール方法では失敗しましたので、https://github.com/carson-katri/dream-textures/releases/tag/0.3.1 こちらに書かれている方法に従って手動インストールしました。

以下でインストール方法を動画で解説されています。

モデルのダウンロード

https://github.com/carson-katri/dream-textures/blob/main/docs/SETUP.md

こちらのマニュアルを参考に、記載されていたモデルをダウンロードしました。

• stabilityai/stable-diffusion-2-inpainting
• stabilityai/stable-diffusion-2-depth
• stabilityai/stable-diffusion-x4-upscaler
• stabilityai/stable-diffusion-2-1

Find Modelsの検索ウィンドウでモデル名を入れて、↓アイコンのダウンロードボタンを押します。

モデルに生成テクスチャをカメラ投影で貼り付ける

今回はアドオンに搭載されている機能『Dream Texture Projection』という、生成したテクスチャをカメラ投影でモデルに貼り付けてくれる機能で検証してみました。

ビューポートのサイドバーにDreamタブがあるので、ここでPromptを設定します。
今回は単純なボックスモデルで木箱を作ってみます。

• Model
  • stabilityai/stable-diffusion-2-depth
• Subject
  • wooden box, stylized game art
• Subject Type
  • Environment
• Genre
  • Fantasy
• Negative
  • photo, photorealistic

設定が終わったら、モデルをEditモードで面を選択して、カメラの角度を調整し、
『Project Dream Texture』ボタンで実行すると、テクスチャが生成されモデルに割り当てされます。

実行エラーが出る場合

自分の環境では、以下のエラーが出て実行できませんでした。

エラーが出ている、depth.pyの32行目を以下のように書き換えたら動作するようになりました。

shader = gpu.shader.from_builtin('UNIFORM_COLOR')

サンプル一覧

簡単なモデルでいくつか試してみましたが、椅子などはモデルのシルエットとテクスチャが合わないことが多かったです。ある程度シンプルな形状であれば、投影のUVを調整することでモデルに沿わせる事は可能です。

テクスチャ解像度は512で試していましたが、1024×1024でも時間はかかりますが生成は可能でした。2048では生成は出来たものの、おかしなテクスチャが生成されてしまいました。

他にも色々と機能があるようなので、また検証してみたいと思います。

気になった方はチェックしてみてください。

リンク

• https://www.blendermarket.com/products/dream-textures
• https://github.com/carson-katri/dream-textures/tree/main