img2imgとリファレンスを組み合わせて好きなキャラの絵を作る方法
作りたい構図の絵を用意してimg2imgに設定する(Strengthは0.6前後が無難)
→リファレンスに好きなキャラの立ち絵・顔アップの画像を1枚ずつ設定する(設定は基本いじらなくてOK。なるべく高画質で完成形に近い資料を用意するのが理想)
→プロンプトでキャラの外見をしっかり記述。絵の内容も手抜きせず書く
→消したい要素、要らない要素はネガティブで指定する。たとえば元画像のキャラが黄色い目で作りたいキャラが赤い目ならyellow eyesとか書いておく
これでLoRA無しでもかなり省力化して「この絵のキャラだけ変えたい」ができるよ
他人のAI絵とかで良さげな構図のものを見つけたら保存しておくといい
リファレンスは参考生成のことね
この場合、2枚までしか資料を提示できないけど、
たとえば1枚の中に「顔表情集」、もう1枚に「正面・側面・背面立ち絵」みたいに
テーマごとに分離してまとめると効率がいいし頭部の大きさとかを誤認されにくい
色が上手くいかない場合は、元画像を一旦モノクロ化してからimg2imgに使うのも面白い
ネガティブで(monochrome:2)って否定しておけば絶対に色は塗ってくれる
若干、線画に色塗ったっぽい仕上がりになったりはするけど、髪の色とかが邪魔で構図だけパクリたい場合は有効なはず
まだ試行錯誤中だけど、だいぶ進展した
参考画像>もっと見る>左下の「ip_adapter」を選択>作りたいキャラの正面顔だけの画像をアップ>設定いじらず、コントロールウェイトだけ1.5くらいに上げる
これ騙されたと思って「img2img+参考生成(reference)+ip_adapter」の組み合わせでやってみて
正面顔の再現度が異様なほど跳ね上がって感動する
ただし欠点があって斜め顔とか横顔を作りたいなら、ちゃんと自分でその顔を提示しないと破綻しやすくなる
あくまで正面なら正面を「この顔使って」って渡す機能な 多少うつむいたりするのは全然大丈夫
参考生成(reference)の注意点まとめ
・デフォルトのreference_onlyだけ使うと参考画像の雰囲気(画風や色味)を引き継いでボヤッとした画像になりがち
・reference_adaintattnと併用するとモデル本来の絵柄っぽいパリッとした高解像度になるが、あまり強度を上げすぎるとせっかくの雰囲気が壊れる
・正面顔、側面顔、斜め顔を1枚にまとめたものをreference_adaintattnに入れて顔の造形を徹底的に似せつつ、
雰囲気が好みの全身絵をreference_onlyに入れて、さらにIP-Adapterで「今回は正面絵だからこの正面顔を使って!」と指定するなど、
3種類の使い分けを意識するといい