ゲームのスクリーンショットからLoraを作る試行メモ第2回

注意書き
前書き
1. 絵柄に注目して差分学習を適当に試すも、当然赤入りお下げが暴れ散らかして敗北
  1. 踏み台モデル作成
  2. 対象Lora作成
2. キャプションとプロンプトだけ追加で弄り回して敗北
クレジット
次回

注意書き

作成したLoraの配布はしません。
当記事を参考にして生じたあらゆる損害について責任を負いません。

前書き

前回はこちら。

ゲームのスクリーンショットからLoraを作る試行メモ第1回 | naokam Tech & Game

前回に引き続き今回も敗北例しかない。アンチパターンとして使え。

“Loraは指定モデルと教師画像の差分を取る”という感覚が少しわかった。引き続き”脳内キャラクターのLoRA”を作っている某氏のnoteを参考に進めていく。伏せ気味なのはいろいろ念のため。

絵柄に注目して差分学習を適当に試すも、当然赤入りお下げが暴れ散らかして敗北

踏み台モデル作成

こんな感じで素材を用意。

キャプション例

1girl, aqua long hair, green eyes, braid, hair orange bow, bare shoulders, bare arms, medium breasts, jewelry earrings, bracelet, criss-cross halterneck, sarong, green bikini, green sarong, standing, cowboy shot

今回はあくまで絵柄排除が目的だから1girlとかも入ってる。white backgroundは削除。

AnyLoRACheckpointをベースにしてAdamW、1800step、64dim、32alphaでLora生成。AnyLoRACheckpointに重み1でマージしたモデルを作成。以後これを踏み台モデルと呼ぶ。

踏み台モデルに1girlだけ入れるとこうなる。

対象Lora作成

教師画像を用意。複数コスチューム入り。

キャプション例

1girl, yellow eyes, light gray hair, single braid colored in alternating red and light gray is tied with a red bow, looking at viewer, simple background, long sleeves, brown plaid hat with red bow, white background, light turquoise and aquamarine dress with blue bow, arms at sides, standing

キャプションには可能な限り全部突っ込む。踏み台モデルをベースにして、AdamW、1800step、32dim、16alphaでLora生成。MeinaHentaiV4に生成したLoraを適用して画像生成。

プロンプト例

<lora:fe_huran:0.8>, 1girl, yellow eyes, gray hair, single braid with red ribbon interwoven throughout its length and tied red bow, looking at viewer

生成画像例

ウェイトを上げても絵柄の影響がかなり少なくなった
お下げ髪が舞ってしまう
お下げ髪が複数生じることが多い
赤いリボンも髪も舞わせずお下げに赤を入れるプロンプトが思いつかない
教師画像で一番多い赤ビキニの首元のクロス赤紐をキャプションで拾えてない？

教師画像が少ないのは正直最初からわかってたけど、方法論をある程度固める前に大量の教師画像を用意するのは労力がきついので一旦放置。もしテクニックで教師画像少なく学習させれる方法を見つけることができたならそれが一番良いし。

キャプションとプロンプトだけ追加で弄り回して敗北

教師画像で一番多い赤ビキニの首元のクロス赤紐をキャプションで拾えてないせいで、ribbonという単語をプロンプトのどこかで使ったとき意図せずクロス赤紐が生じるのではないかという説。これを潰すためかなり雑にキャプションとプロンプトを変えまくって試したが、大きな変化がなかったのでその線は消滅。詳細は記録がのこってなかった。ごめんぽよ。

これを踏まえるとまあ次のような感じなんだろうな。