AUTOMATIC1111web_uiが動かなくなったので

気付いたら2月も中ごろで
自分の継続性のなさにがっかりだ。

以前は自作のなんちゃってサービスを作成して、
そこからStableDiffusionを動かして画像生成していたんですが、
最近はgitで公開されているAUTOMATIC1111のWebUIを使用しています。

それに関してもBlogのネタとして扱おうと思うんですが、
今回はふとそれが動かなくなったので、それに関する対応について。
自分のメモ用ですかね～。

MiDasによる深度推定、AIで生成されたイラストに使用してみる

この前、下記のような記事を見かけたので試してみました。

3D Photography using Context-aware Layered Depth Inpainting
https://shihmengli.github.io/3D-Photo-Inpainting/

これはMiDaSという一枚の写真内の深度情報を推定する――
分かりやすくいうと、画像内の奥行き情報を求めてくれるものらしいです。
AIによる教師付きモデルで学習した内容をもとに、
入力された画像データの深度情報を求めてくれるみたいです。

で、上記の記事にあるGoogleColaboratoryを使うと、
作成した深度情報で画像を3次元上において数秒間の動画を作成してくれるらしい。
面白そうなので、以前作った画像を入力データにして使ってみた、
という感じの記事です。

そのままでは動かなかった

いきなり躓いたんですが、このGoogleColaboratory
そのまま動かなかったんですよ。

途中で、エラーでて実行できないな～ってなっていたんですが、
どうも、GoogleColaboratory内のPythonモジュールの更新に伴って
引数が一致しなくなった部分があるみたいで、それが原因になってるみたいでした。

下記の一文を追加して、pyyamlを5.4.1のバージョンにすれば動きました。

!pip install pyyaml==5.4.1

とりあえず使ってみた(成果物)

上記の対応でとりあえず動かせるようにはなったみたいなので、
指示に沿って動かしてみました。

画像をアップロードして(jpgのみ対応だということに気付かず、ちょっと躓いた)
実行すると、中身でいろいろと処理されて、
動画データが作成されてきます。

今回使用してみたデータはコレ。
midjourney-v4で作成した戦闘ロボット的なイラスト

で、実行してみたところ、4つほどファイルが生成されてきました。
それぞれ、カメラの動きを変えた動画で、6秒くらいの動画でした。

• zoom-in (カメラを近づけていく)
• dolly-zoom-in (そのままのzoom-inとはなんか違うけど、どう動いてる？)
• swing (カメラを左右に移動させる)
• circle (カメラを円運動的に移動させる)

zoom-in (前方に近づいていく感じ)

dolly-zoom-in (zoomとはちょっと違う？)

swing (左右に振る感じ)

circle (円を描くように移動してる)

おー、一枚絵だけの時と比べて、結構印象変わりますね。
ただ、swingとcircleは動きが大きくなって、画像をかなり横から見る感じになると
さすがにアラが見えてしまう感じもあります。

それでも、背景部分とロボット部分でしっかり区分けされてるのはすごいですね。
dolly-zoom-inはどういうズームか分からないんですが、
地面を這うような感じも、かなり自然に出来ているような印象です。

ついでに見つけた成果物

あと、このGoogleColaboratoryを処理している間に
「MiDaS」のフォルダ内を見てみると、outputの所に
深度情報を出力した画像ファイルを見つけました。

多分深度情報の画像ファイル
近いところが白で、遠いところが黒になっている

この深度情報に沿って、
2次元画像をディスプレースメントマッピングみたいな感じに変形させて
それを3次元空間上のカメラで撮影している感じなんでしょうか？

調べた感じだと、StableDiffusion2.0のdepth2imageの機能として
このMiDaSによる深度推定が入っていて、
深度による物体の区分けができるおかげで構図とかを維持した
img2imgができるとかなんとか？
もう、調べるたびに新しい情報出てきますね。コワイ！

なんか、アイデア次第ですが面白そうな使い方が出来そうですね。
まぁ、少し前に出されていた情報みたいなので、
知っている人からは遅れているかもしれませんけど。

「ローコード／ノーコード」に関するセミナーに参加してきました

先日、下記のLive配信を聞いてきた。
https://events.nikkei.co.jp/54590/

日経産業新聞フォーラム
「ローコード／ノーコード～システム内製によるDX推進～」

無勉強ながら、聞いてきたので
それに関して適当に感想でも一つ書いておこうじゃあないか。

📖【雑記】今年の目標

2023年も始まりましたね。
というか、もう始まって3週間目すか…。
この調子だと、今年もすぐに通り過ぎていくかもしれない。

そんなわけで、今年の目標は立てておこうと思ったので、それを書く。
一年の計は元旦にありとあるので、計画自体は元旦に決めました。

📄今年もありがとうございました

うーん、今年も年の瀬だ。

あっという間だったなーと。

今年は中盤以降AI画像生成が出てきてからすごかったですね！

自分も幾つか作成して拙いながらTwitterで投稿とかもしました。

もうちょっと上手く表現していきたいかな！

https://twitter.com/Chubachi/status/1609177667172966402?t=icEK3sLDcypURvYOLVYysg&s=09

そんなんで、短いながら

今年もありがとうございました。

また来年もよろしくおねがいします。

【StableDiffusion】chichi-puiに投稿してみることにしました！

最近いろいろやる事ありすぎててんてこ舞いですが、何とかやっております。
来年はもう少しブログの更新癖を付けるようにしたいなあ…

今回は最近の雑記で、ちょい手抜き
最近勉強していることと、画像生成関連かな。
まあ、近況を書き込めるのはいいことだから…。

📖【雑記】12月になってますね。PC買いました。

いつの間に12月が…
しかももう1週間以上経っている…

言い訳しますと、
画像生成AIにハマってて、暇さえあれば画像生成かけていて
後はぼや～と作成されたイラストを眺めつつ酒飲んでたら
いつの間にかこんなに時間が経ってました。

放置に気付いたのでとりあえず雑記を書いておく。