蕭簫 發自 凹非寺
量子位 | 公眾號 QbitAI

只需隨手錄製一段視頻，AI就能把你完美放進動漫中！

無論是線條、色彩還是光影呈現，都與美漫中的寫實風格如出一轍，動畫也是細膩流暢，幀數顯然不低：

製作這樣一部包含120個VFX（視覺效果）鏡頭的動漫，需要投入多少精力？

僅僅3個人就行，也無需服化和道具小組。

相比之下，此前拍攝的不少大片動畫特效往往需要投入大量精力，製作精良的團隊甚至達到上百人。

這部動漫被放到油管上後，三天就攬獲了150w+播放量，11萬+點讚。

已經有畫師看完感到害怕了：

我畢生致力於繪畫……然而這些幾年後就會被取代。

還有網友感到「兒時夢想成真」：

當年我還小的時候，一直以為動畫就是基於真實視頻做出來的。現在看到這個，覺得超酷。

那麼，這樣一部動漫究竟是如何製作出來的？

如何用AI製作一部動漫？

過程一共分為三個部分。

第一部分是用AI創建並生成動漫人物，建立它與演員之間的關聯；第二部分是創作動漫場景；第三部分是合成並調整最終動漫效果。

先來看看第一部分的用AI改畫人物動漫。這部分是用Stable Diffusion完成的，同時採用了谷歌推出的DreamBooth擴散模型進行微調。

以動漫中的這名角色為例，左上角是演員原型，右下角是AI創作出來的動漫角色：

這可不是直接把視頻一幀幀放進Stable Diffusion中就能做出來的效果。

為了確保人物的動漫畫風達到他們想要的效果，作者們收集了經典動漫《吸血鬼獵人D》中的大量人物截圖，各種角度都有，將它們餵給AI：

與此同時，還需讓AI學會並記住真人從面部到身體上的各種細節特徵。

因此，要提前給演員拍攝不同光照、多個角度、各類動作下的大量照片：

這樣一來，就能讓AI在看見視頻中的演員時，迅速以《吸血鬼獵人D》為作畫風格基礎，畫出演員長相的動漫風格人物來。

至於在某些不容易掌控的人臉放大鏡頭中，還採用了ControlNet進一步控制生成的效果。

不過，直接用AI生成的動漫，還存在一個問題。

即使幀與幀之間的差異不大，銜接起來並不完全連貫，一些「反覆橫跳」的發梢和光影細節會導致畫面瘋狂閃爍：

作者們想到用DEFlicker去閃爍插件解決這件事，同時稍微調低一點幀率，保證畫面的流暢感。

第二部分就是生成場景了，這部分作者們直接用了虛幻引擎和裡面自帶的一些3D模型，來製作動漫背景。

例如這段看起來非常炫酷的旋轉背景：

背後就是將大量場景照片合成起來，快速滾動做成的：

最後一部分就是合成之後的潤色了。

這部分倒是團隊自己完成的，他們在視頻中一方面加入了部分3D模型（如一晃而過的蠟燭）來增加人物的沉浸感：

另一方面添加了大量復古的視覺特效，使得動畫看起來又精良了不少：

最終就有了這部AI協助創作的動漫。

曾創作波士頓動力惡搞特效視頻

這部動漫創作背後的團隊Corridor Crew，來自一家叫做Corridor Digital的美國製作工作室。

Corridor Digital成立於2009年，這些年來創作了不少特效為主的流行短視頻。

比較為人所熟知的是2019年惡搞波士頓動力機器人的那個「Atlas的反擊」（New Robot Can Now Fight Back!）。

視頻中Atlas被人們反覆霸凌虐待，最終忍無可忍，對人類發起攻擊：

這段視頻一度被人們認為是從波士頓動力流出的真實錄像，直到Corridor Digital出面否認。

隨後，波士頓動力也官方闢謠稱這只是Corridor Digital製作的一段CGI。

Corridor Digital工作室旗下的Corridor Crew團隊，則負責做專門解讀各種大片特效和背後製作技術流程的「揭秘節目」，團隊成員會篩選一些電視劇和電影，並討論和分解其中的視覺特效鏡頭。

他們也曾經邀請過不少特效師和演員來節目中做客，觀察他們對各種特效的反應。

對於團隊製作的這檔AI動漫，有網友調侃：

不如下次就邀請動畫師們如何？看看他們對於這部AI動漫的反應。

那麼，你覺得AI做出來的這部動漫效果怎麼樣？

參考連結：
[1]https://www.youtube.com/watch?v=_9LX9HSQkWo
[2]https://www.youtube.com/watch?v=ljBSmQdL_Ow
[3]https://twitter.com/bilawalsidhu/status/1631043203515449344

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態