LoRA試行錯誤日記（後編） | Stable Diffusion WebUI

https://www.refav.net/post/lora試行錯誤日記-stable-diffusion-webui　の記事の続き。

ゴールとしては漫画が描きたい訳なのだが、作戦としてはこうである。

CIVITAIに溢れるLoRAたちがどれもビジュが良すぎたため、テンションが上がってしまい選定したモデルもどれも美女・美少年ばかりになっていたが、今思い出すと描きたい主人公は中年男性であった...。

キャラクターイメージを固める

サンプルのビジュアルがあるとAIに認識させやすいのではないかと思って、実際の俳優さんでキャスティングを考えてみた。とりあえず以下としよう。

主人公	取締役	システム会社の担当者	主人公の部下	コンサル会社の女性
阿部サダヲ	笹野高史	近藤春菜	野間口徹	キムゴウン

キャラクターデザインをAIで生成する

何個か組み合わせのパターンを試したが、この組み合わせがよさそうなので、一旦ここで手打ちにすることにした。

タイプ	Model	Image	memo
Checkpoint	AnythingElse V4
LoRA	fujiko chibi style 藤子F不二雄 q版风格风格
LoRA	comic线条漫画风
LoRA	Male model man jxx		主人公キャラに使うと髪型など全体的に自然味が増してよかった。
サンプラー	DPM++ 2M SDE Karras

すると、こんな感じのキャラが出来上がった。

ええやん。手の違和感半端ないけど。ええやん。

プロンプトに関しての気付きとしては、私が今回イメージしている【藤子・F・不二雄っぽい古典コミック風】のタッチでは、描画を細かくするおまじないプロンプトの

(best quality, masterpiece, ultra detailed), 

や、同様の意味を持つネガティブプロンプトの

EasyNegative, worst quality, low quality, poor quality, 

は、相性がよろしくないらしく（なんかチュルっとする）、書かないほうが雰囲気のある絵に仕上がった。仕上がりイメージに合わせてのプロンプト調整は都度都度やらないといけなそう。

プロンプトは大体こんな感じを軸に調整をかけた。

fujiko, maga, 1woman, 25 years old woman, female focus, face focus, solo, simple background, brown hair, long hair, black eyes, suit, <lora:fujiko:1>

ネガティブプロンプトはこれをそのまま使い回し。

text,username,logo,  (blurry:1.3),  (bad anatomy), bad face, bad fingers, bad hands, poorly eyes, bad body, missing arms, missing legs, missing fingers, extra arms, more than two legs, inaccurate eyes, lowres, text, error, extra digit, fewer digits, jpeg artifacts, signature, watermark, username, bad composition, 

事件発生！　翌日に再現できなくなった件

明るい未来を確信して眠りついた翌日。再度Colab構築からやり直したら画風が再現できなくなった。私はColabにStableDiffusionの環境を作っているのだが、同じ前提条件／同じプロンプトで画像生成しても全然違う作風のものが出るようになってしまったのである。

途方に暮れつつ原因や対処法を調べていると、Colabのログに以下のようなエラーが出ていることに気付いた。

MetadataIncompleteBufferエラーというのは「メタデータ不完全バッファ」と訳せるが、深掘って調べると、Safetensor（モデルの拡張子）ファイルのオープンで失敗した時に出るエラーのようである。失敗の原因として主なものとして以下の2つが挙げられるようである。

1. 開こうとしているSafetensorに対してランタイムの性能が不十分、という説。

2. Safetensorファイル自体が何らかの理由で欠損している、という説。

(2)の方は、Stable Diffusion WebUIのExtension機能を介してモデルファイルをインストールしている場合には割とあるある現象らしいのだが、私はColabにファイルを直置きしているので、このケースには当らない。

そして、(1)の方を疑ってみると、

• アクセラレータが　[A100 GPU]　→　[T4 GPU]　に変わっていた

• ハイメモリのチェックがOFFに変わっていた（うろ覚え。もしかしたらここはONのままだったかも）

という変更がかかっていた。おそらく翌日にColabのセッションを再起動した際にコンピューティングユニットを使い果たしていることがバレてダウングレードされたのかと思われる。90分ルール／12時間ルールによって再起動せざるを得ないのだが、逆にこの辺りの課金事情のために12時間ルールがあるのではないかと推察。

ちなみに、Colabのハードウェアアクセラレータはスペックの高い順に以下となる。

A100　→　V100　→　T4

となる。結局、V100×ハイメモリにしたらエラーが出なくなった。たぶんA100×ハイメモリでも大丈夫だと思う。なんだよ結局金かよ。

さて、エラーが消えなかった試行もメモしておく。丸1日ハマった。悔しい。

• 無料版にショット課金してA100にして試行　→エラー消えず

• サンプラーを他のものに変えて試行　→エラー消えず

• webui-user.bat ファイルに「set BUFFER_SIZE=1024」を追記　→エラー消えず

構図を決める（ネーム作成）

ネームを作る手順としては、

1. 頭の中にあるセリフと構図イメージをテキストで書き出す。

2. iPadのibisPaintを使ってネームを作る。ibisPaintはコマ割りを作る機能があるのでやりやすかった。ネームは手書きではなく、iStockでイメージに近い構図の画像を探してコマ割りにはめこんでいく。

という流れで作った。こちらが1ページ目のネームである。（これはこれで面白い）

最初は漫画やイラストでイメージに近い構図を探していたが、あまりにも検索しにくかったため実写で構図集めをする方針にした。

また、Checkpointとimg2imgだけでどれくらいイメージに近い構図が描けるかを確認したとこを、それなりの品質のものができそうだったので、行けると信じて進むことにした。

ネームの構図の絵をAIで生成する

ここで、Seedを使って見ようと思う。各キャラクターのSeed値は以下。

取締役がカタギか否かの線ギリギリになってしまってあんまり気に入ってないから直したいけど、一旦そのままで行く。

Seedの使い方は簡単で、Seed欄にIDを書けばいいだけである。

Seedとは...

生成画像ごとに割り当てられている固有の番号で、ゲームの内部処理で扱われる、乱数に近いイメージ。プロンプト（呪文）とSeed値が同じなら、全く同じ画像を出力することができる。プロンプトとSeed値が同じなら、全く同じ画像を出力することができる。
ただし、Seed値によるキャラ固定は完璧ではなく「おおよその印象が保たる」程度と思った方が良い。

「Seed値を1ずつずらして、4枚くらい生成して選ぶ、というのがおすすめ」と言っている人もいましたが、そんな時間（余剰資金）がなかったので、一旦はSeed値そのままで行くことに。

あとはSeedを指定したimg2imgでの生成を、プロンプトを微修正しながらひたすら繰り返す作業ゲーである。ちなみに私はphotoshopやイラレが多少使えるのと、結局最後は動画にするつもりだったので

• 2人以上の人物を書き分けること

• ネーム通りの完璧な構図での仕上がり

は早々に諦めており、仕上げの大半の作業は手動でやる腹づもりをしていた。

なので、「まぁ使えそうですね」という絵が何個か出てくればそれでOKという、AIにしてみればイージーな客である。

まぁ、早々に手動で頑張る方向に舵を切った理由としては、先述の「コンピューティングユニット使い果たしちゃう問題」による課金沼にハマるのを回避したかったのが一番大きいけど。専用PC欲しくなる...。

プロンプトに関しては、もはや慣れのような気がする。よく参考にしたのは

生成AI呪文集 | Stable Diffusion WebUI

動作・行動のプロンプト(呪文)一覧【Stable Diffusion】 

あたりである。

（この辺りのサイトを自分用にまとめたものがこちらにあるので、これも参考に。）

私はStable Diffusionに慣れる意味で、こんな感じで微修正した時の記録も取りながらひたすら調整を繰り返した。人物が2人出てくる構図のプロンプトは今の自分には難しすぎて、一人つず指定する作戦にした。それでも難しい場合は諦めて別構図に切り替えるようにした。

尚、金をケチりたかったので構図チェックではデフォルトのCheckpointを使っていたのだが、「完璧な構図のプロンプトや！」と思っても、本番でCheckpointを変えると「さっきと全然違うじゃん！！！」となる事がけっこう起きた。辛い。

そして、ここから先はひたすらプロンプト微修正＋生成の作業ゲー...。正直あんまり楽しくない作業ではある。すり減る。

絵を綺麗にする

それなりに作業ゲーを繰り返したものの、漫画として許容できるクオリティのイラストが生成されることはなかった。切ない。

なので、最終的には生成AIでできたイラストを元にClipStudioで手書きをして漫画らしくしていった。

セリフの書き込みなどの仕上げ

全コマ分のイラストを結局は手書きで作成して(涙)、背景をつけてセリフの書き込みを行い、孤独のグルメのオープニングっぽくしたかったので、PremireProを使いつつ動画を編集していく。

出来上がった動画がこちらである。

イラスト生成から完成まで、制作期間でいうと4ヶ月程度かかった。（よく頑張った私！）

本当に疲れた。大変だった。でも色々学びがあって、やってよかったとは思っている。

まとめ

LoRAをはじめとした生成AIに触れることができたのはよかった。自分のスキルの問題もあるだろうが、現段階では「AIで漫画を描く」というのはなかなか難しいと感じる。

とはいえ、手書きイラストの下絵レベルのものが生成できるだけでも、何らか仕事に活かし様があるのかもしれない。

次は、LoRAを自作するというのを試してみたい。