AniPAFE2022作品「AI Kyoko」でやりたかったこと書き散らし

・テーマについて

今回のテーマは「新時代」にしました。裏テーマは「不自由」だなと思いました。

AIが発展してきたことによって、なにが"簡単に"できるようになったのかというと、「絵(特殊映像)が作れるようになった」、「(一応)曲が作れるようになった」です。これまでのMADの原点を考えると、曲と映像の組み合わせで面白いものが作れるという点だと思います。ただ、近年は静止画MADに代表されるように、既存絵を使って魅力的なオリジナリティある映像を作ってMADにするものが多く出てきて、発展もしています。この背景にあるのは、映像制作技術の進歩だと思う。要は映像制作の敷居が下がってみんな作れるようになってきたんだと思います。ただ、曲を作って組み合わせている人はごく少数(いた気がする)で、MADの評価というのは選曲賞と呼ばれるように曲がどれだけ原作にマッチしてるか、シンクロしてるかが焦点となっているのが現状かなと思います。ただ遠くない未来、曲もAIによって制作することができるようになるはずです。そうなるとどうなるかというと、原作に完全シンクロする歌詞の曲でMAD作ることができちゃう。そうなると「作曲賞」みたいなぜんぜん別の評価軸が必要になってくるかもしれない。そうなるとまとめて「楽曲賞」かもしれませんね。

そうなってくると、結局大事になってくるのが「何を伝えたいか」だと思います。技術はわりと時間とお金でなんとかなるものが多いのですが、感性的な部分とか情熱とかはいちばんその人らしさが出るし、技術や世代がわりと関係なく盛り上がって楽しめる部分だと思うので、いちばん大事にするといいなじゃないかなと思います。

(そのうえで自分語りをすると、自分がMADを作る肝になってるのは、「杏子ちゃんの魅力を最大化したい」「杏子ちゃんとポッキーゲームしたい」です。とにかく杏子ちゃんを軸に楽しみたい!杏子ちゃんで映像も作りたいしMADも作りたいしフィギュアも作りたいし3Dモデルも作りたいしゲームも作りたいし小説も書きたいし、それらをぜんぶまとめて受け入れられる受け皿がMADなのでMAD界隈で楽しんでます。)

で、AIが発達することでできることが増えて、欲が出ちゃうと思うんです。絵も作れちゃう、映像も作れちゃう、音楽も作れちゃうとなると、ぜんぶ自分で作ったMADも作れちゃう気がします。それが楽しいかどうかはさておき。なので、AIによって作品の制作コストが部分的には下がっても、全体として見れば個人個人の現界まで突き詰めるという点で言えば変わらないかもしれない。ただ、欲が出た結果、AIを使わないといいものが作れないって思っちゃう可能性がある。そうなるとAIを使うことに縛られちゃうので、逆に不自由を感じるのではないか。そうなると全体として自由度が低下する気がする。MADは自由であるべきだと常々思ってるので、AIに縛られずに自由気ままに楽しく作るのがいちばんだと思う(唐突な結論)。


いろいろ考えさせてもらえたコメントとか

てつさん「AIが作るとはいえ、結局そこに至るファインチューニングで自分らしさは出るとは思ってる」

たけつきさん「自分の感じたことを言葉にできるならMADとして成り立つか。そこしかもう自分がない」

まさかさん「AIに作らせるんじゃなくて、上手く活用した一歩先の創作を創造したい」

たけつきさん「切り貼りMADだけは最後まで個人の裁量が残る部分で人間が生き残りそう。一番人間の情感に頼ってる気がする。」

「愛で狂っていればMAD」

D.S.Kさん「あぁ、この曲アニメに合うのかぁってなる方が選曲上手いってなるけど、公式OPであってても選曲すごいには自分はなんないかなぁ」

「AI Kyoko」の作り方解説

今回の「AI kyoko」の制作の流れと参考にしたブログ等を書いていく。

おおまかに楽曲と映像に分けられるけれど、おそらく映像のほうがウェイト重いのでそっち重点的に書きます。


歌詞作成AI:KEYWORD TO LYRICS

キーワードをもとに英語歌詞を制作してくれるAIサービス

https://lyrics.mathigatti.com/


音楽作成AI:OpenAI Jukebox

https://openai.com/blog/jukebox/

参考ブログ:https://note.com/npaka/n/n26b7c81e185a


※以下2022/10/03時点の情報です

動画生成AI:DeforumDiffusion

https://twitter.com/deforum_art

↑この人のリンクからGoogle colabに行けば使えます。Version0.5でWaifuDiffusionがデフォルトで選択できるようになったようです。


チェックポイントファイル(.ckpt)を指定すればそのAIで生成されるので、ファインチューニング(追加学習)する際には最終的にckptファイルが得られるものを探し出すと吉。


追加学習方式:DreamBooth

参考リンク:https://github.com/JoePenna/Dreambooth-Stable-Diffusion

※自分は10ドル課金しました

学習元をStableDiffusionではなくWaifuDiffusionにすると二次元絵のイラスト精度が爆上がりする。

↑StableDiffusion_v1.4に佐倉杏子を追加学習させたモデルで生成した杏子ちゃん

↓WaifuDiffusion_v1.2に佐倉杏子を追加学習させたモデルで生成した杏子ちゃん

うまくいかなかったけど、WaifuDiffusion式追加学習の手法もある。

参考ブログ1:美樹さやかモデル(Sayaka_Diffusion)を作った人のブログ

https://six-loganberry-ba7.notion.site/22-09-26-Stable-Diffusion-b981d956961f425a86dad0e13a44d67b#bf8bbd359d48401c8118e42939dee59f

参考ブログ2:上記ブログの人が参考にしたというWaifuDiffusion式追加学習の方法が書いてあるブログ

https://tadaoyamaoka.hatenablog.com/entry/2022/09/15/214131


肌感ではるけれど、わざわざWaifuDiffusion式追加学習でまどマギ特化の追加学習しなくても新しいWaifuDiffusion(2022/10/03時点でv1.3βが出てる)にDreamBoothかけただけで充分だと思う。