💡【StableDiffusion】CPUオンリー環境の構築

以前構築した環境が相当前だったので復習がてら

StableDiffusionの環境構築を。

普段はGPU環境なんですが、

ちょっと低スペPC対象にCPUオンリーの環境です。

どのくらい動くかね…？

💡

💡【SunoAI】SunoAI使ってみてなかなか面白い

１月ももう終盤なわけッスけどね。
もう１カ月たっちゃうじゃんかー
とりあえずなんか書いときましょ。

最近、流行の乗り遅れつつSunoAIを触ってみました。

suno

自動作曲(インスト曲も作成できる)AIなんですけど、
使ってみたらだいぶ面白かったです。
幾らか使ったら何かに使えそうかな～

とりあえずこんな感じで作成してみた。
うまいこと埋め込みできているか？

思ったよりカッコイイ曲出来上がるんですね～
ただ「鋼鉄」を「はがねてつ」とか「こうねてつ」とか読んだりしてる。
ルビ振り歌詞みたいなのは気を付けないといけないッスね。

宇宙(そら)とか現実(いま)とかは、そうね。

📖【AI画像生成】この前は海の日？

最近、引越の手続きが本格的に進んできてチョイ忙しいです。
とりあえず引越先も決まったし～(審査だけで契約は来週)
引越見積などをやっているところです。

あとは今のインフラ解除とあっちのインフラ契約とかが丸々残っているか。
友人から聞いた感じ８月の引越とか結構カツカツらしいし
(実際引っ越し業者の人も学生とか結構いてカツカツ言ってた)
取れるところで引越作業していく必要がありそう。

無計画が原因で中々どうしていろいろ忙しいんですが、
はんなりと雑記書いていこうかなーとね。

この前は海の日(７月１７日)だったらしく
AIイラスト投稿サイトのchichi-puiさんのところでイベントやってたので
ギリギリだったけどイラスト投稿。そしてついでにほかのところにも投稿。
なんかpixivでは軽度の性的表現という判定をもらいました。
結構キビシイんだね(小声)

📖【AI画像生成】AIイラストで作成する過程を少し書いてみる

時間の合間を見つけて、AI画像生成を地味～に続けています。
今回は画像の一部を描き変えるインペイント機能を割とガッツリ使って
一つ作成したので、もとのイラストから過程を振り返ってみようかと。

自分がどう作成したのかも、数日後には忘れているかもしれんし…。

とりあえずそんな雑記。

【AI】Zero-1-to-3というものを見つけた

4月も始まりましたね。
新年度も開始です。
まあ、社会人になってからウン何年となると、その辺りの感覚も薄れますが…

今回はAIがらみのちょっと驚きのものが「また」出てきたので、
それについて取り急ぎ書こうと思いました。

ローカル環境でAUTOMATIC1111WebUIを動かした方法とハマった部分

AI画像生成は意外と長くハマっています。
最近は幾つか画像投稿サイトに投稿するようになったり…
まぁ、自分の好みで作成しているだけではありますけど。

今回は、最近メインで画像生成を行っている
Windows環境にStableDiffusion及びAUTOMATIC1111を入れたときの方法
それと、
入れたときの環境で思わず大ハマりした時の内容を書いておこうと思います。

AUTOMATIC webuiをGoogleColaboratoryで動かす

前回の記事で最近AIの画像生成をするときは
AUTOMATIC1111のwebuiを使っていると書いたのですが、
環境はGoogleColaboratoryで動かしてました。

自宅PCではつい先日環境を整えて、
こちらでもwebuiを使って画像生成できるようになったのですが、
とある詰まりポイントがあって、この前まで上手くできなかったんですよね。
それについては後日、書くことにしましょ。

自宅でwebuiを使うことが出来るようになったので、
GoogleColaboratoryで無料枠を気にして使う必要性はなくなりそうなんですが、
まとめておいたら、なんかの役に立つんじゃないでしょうか、そのうち(適当)

AUTOMATIC1111web_uiが動かなくなったので

気付いたら2月も中ごろで
自分の継続性のなさにがっかりだ。

以前は自作のなんちゃってサービスを作成して、
そこからStableDiffusionを動かして画像生成していたんですが、
最近はgitで公開されているAUTOMATIC1111のWebUIを使用しています。

それに関してもBlogのネタとして扱おうと思うんですが、
今回はふとそれが動かなくなったので、それに関する対応について。
自分のメモ用ですかね～。

MiDasによる深度推定、AIで生成されたイラストに使用してみる

この前、下記のような記事を見かけたので試してみました。

3D Photography using Context-aware Layered Depth Inpainting
https://shihmengli.github.io/3D-Photo-Inpainting/

これはMiDaSという一枚の写真内の深度情報を推定する――
分かりやすくいうと、画像内の奥行き情報を求めてくれるものらしいです。
AIによる教師付きモデルで学習した内容をもとに、
入力された画像データの深度情報を求めてくれるみたいです。

で、上記の記事にあるGoogleColaboratoryを使うと、
作成した深度情報で画像を3次元上において数秒間の動画を作成してくれるらしい。
面白そうなので、以前作った画像を入力データにして使ってみた、
という感じの記事です。

そのままでは動かなかった

いきなり躓いたんですが、このGoogleColaboratory
そのまま動かなかったんですよ。

途中で、エラーでて実行できないな～ってなっていたんですが、
どうも、GoogleColaboratory内のPythonモジュールの更新に伴って
引数が一致しなくなった部分があるみたいで、それが原因になってるみたいでした。

下記の一文を追加して、pyyamlを5.4.1のバージョンにすれば動きました。

!pip install pyyaml==5.4.1

とりあえず使ってみた(成果物)

上記の対応でとりあえず動かせるようにはなったみたいなので、
指示に沿って動かしてみました。

画像をアップロードして(jpgのみ対応だということに気付かず、ちょっと躓いた)
実行すると、中身でいろいろと処理されて、
動画データが作成されてきます。

今回使用してみたデータはコレ。
midjourney-v4で作成した戦闘ロボット的なイラスト

で、実行してみたところ、4つほどファイルが生成されてきました。
それぞれ、カメラの動きを変えた動画で、6秒くらいの動画でした。

• zoom-in (カメラを近づけていく)
• dolly-zoom-in (そのままのzoom-inとはなんか違うけど、どう動いてる？)
• swing (カメラを左右に移動させる)
• circle (カメラを円運動的に移動させる)

zoom-in (前方に近づいていく感じ)

dolly-zoom-in (zoomとはちょっと違う？)

swing (左右に振る感じ)

circle (円を描くように移動してる)

おー、一枚絵だけの時と比べて、結構印象変わりますね。
ただ、swingとcircleは動きが大きくなって、画像をかなり横から見る感じになると
さすがにアラが見えてしまう感じもあります。

それでも、背景部分とロボット部分でしっかり区分けされてるのはすごいですね。
dolly-zoom-inはどういうズームか分からないんですが、
地面を這うような感じも、かなり自然に出来ているような印象です。

ついでに見つけた成果物

あと、このGoogleColaboratoryを処理している間に
「MiDaS」のフォルダ内を見てみると、outputの所に
深度情報を出力した画像ファイルを見つけました。

多分深度情報の画像ファイル
近いところが白で、遠いところが黒になっている

この深度情報に沿って、
2次元画像をディスプレースメントマッピングみたいな感じに変形させて
それを3次元空間上のカメラで撮影している感じなんでしょうか？

調べた感じだと、StableDiffusion2.0のdepth2imageの機能として
このMiDaSによる深度推定が入っていて、
深度による物体の区分けができるおかげで構図とかを維持した
img2imgができるとかなんとか？
もう、調べるたびに新しい情報出てきますね。コワイ！

なんか、アイデア次第ですが面白そうな使い方が出来そうですね。
まぁ、少し前に出されていた情報みたいなので、
知っている人からは遅れているかもしれませんけど。

WaifuDiffusionを使ってみた

先日StableDiffusionの記事を書いてから、
幾つかGPUの使用量が余す限り画像を生成したりしています。
最近だとゲームのアイテムアイコンみたいなのできないかなーということで
武器類の画像とか、アイテム類の画像を生成することが多いです。

ただ、twitterを見ているとですね…
やはり二次元イラストをどれだけきれいに出力できるかを試している人が多く
それを見ていると、自分もまあまあそういったものを出してみたくてですね…
要はかわいい女の子のイラストを生成したくなったんだよ！

というわけでね、今回はWaifuDiffusionというモノを使ってみました。

AI北斎風シリーズ「馬に乗った宇宙飛行士」 (初投稿)

えんえんとStableDiffusionで遊んでおります。
Seed値を固定すれば同じ絵が出せるのですが、
逆に固定しない限り違う絵が出るということ。

気が向いたときに相変わらず適当に出力しております。

作成した画像をたまにはアップしてみようと思ったので記事を書くことにしました。

GoogleColaborateでStableDiffusionを使ってみた話

ちょっとトレンドから遅れつつですが、StableDiffusionを触ってみました。
最近は時間の合間にちょいちょい出力して、
よさげなものをTwitterにアップしたりしています。

実際に手を動かして絵を描くのではなく
prompt(文言)を入力してAIに画像を描いてもらうのですが…
「マジでこんな画像ができるのか～ッ」って感じになります。

というわけで、絶賛エンジョイ中です。
そんなこんなしているうちに
promptから動画とか3Dとか出力するAIも出始めてますが…
技術の進歩が速すぎて追いつけない><

少し遅れたけど、一応記事にしておこうと思います。

とにかくすごい字起こしAI「Whisper(OpenAI)」自分でも動かしてみた (GoogleColab編)

前回はWindows環境にWhisperを導入して動かすことをやっていました。
今回はGoogleColaboratoryで動かす場合の手順ですね。
これを書いていこうと思います。

とにかくすごい字起こしAI「Whisper(OpenAI)」自分でも動かしてみた(Windows CLI編)

9月末にOpenAIから字起こしAIであるWhisperが公開されました。
試しに動かしてみたんですが、これがすごかったので、
導入時に試したことを少しまとめようと思います。

オープンソースで公開、MITライセンス
GoogleColaborateでも動かせますが、今回はWindows上で構築してみました。
お手軽に試すならGoogleColaborateが簡単でおススメです。
こっちもあとでまとめたいと思います。