先日StableDiffusionの記事を書いてから、
幾つかGPUの使用量が余す限り画像を生成したりしています。
最近だとゲームのアイテムアイコンみたいなのできないかなーということで
武器類の画像とか、アイテム類の画像を生成することが多いです。

ただ、twitterを見ているとですね…
やはり二次元イラストをどれだけきれいに出力できるかを試している人が多く
それを見ていると、自分もまあまあそういったものを出してみたくてですね…
要はかわいい女の子のイラストを生成したくなったんだよ！

というわけでね、今回はWaifuDiffusionというモノを使ってみました。

WaifuDiffusionとは？

8月末に襲ったStableDiffusionの公開から、怒涛の画像生成AI派生が出来ましたが、
その中の一つ、「アニメや二次元イラスト、漫画のようなテイストの画像」
を生成することに重きを置いた学習モデルらしいです。
StableDiffusionと全く違った画像生成AIではなく、
StableDiffusionと同じ仕組みですが、「用いる学習データが違う」んですね。

Huggingface/wifu-diffusion

これを見ると、
一番左がStableDiffusion、
真ん中が前バージョンのWaifudiffusion、
一番右が最新v1.3のWaifudiffusionとなっていて、
かなり二次元の女の子イラストになっていることが見て取れますね！

え、v1.4ももう出るんですか？
StableDiffusionもv1.5とかになってるし、早すぎて追いつけないッス

GoogleColaboratoryで
WaifuDiffusionを使ってみる

StableDiffusionを動かせるリッチな環境は手元にないので(貧乏)、
今回もGoogleColaboratoryで動かしてみたいと思います。

下記のページでノートブックも公開されているので
それを使ってもいいと思います。

Huggingface/wifu-diffusion

導入に関しては、StableDiffusionとほぼ同じで、
学習モデルを指定する所の記述を変えるだけでいいみたいです。
簡単ですね。優しい！

ということで、前回記事。
GoogleColaboratoryでまずStableDiffusionを動かす場合はここを参照。

https://steeledge2.blogspot.com/2022/10/googlecolaboratestablediffusion.html

んで、
上の記事の「GoogleColaborate：準備と学習データのダウンロード」の部分ですね。
pipelineの指定の部分で学習モデルデータやバージョンを指定しているので、
この部分を差し替えます。

※修正前

pipe_txt2img = StableDiffusionPipeline.from_pretrained(
"CompVis/stable-diffusion-v1-4",
revision="fp16",
torch_dtype=torch.float16,
use_auth_token=YOUR_TOKEN
).to("cuda")

※修正後