大熱節目《美國之聲》（The Voice）季終集的一大亮點是，BTS防彈少年團通過全息投影的方式，跨越太平洋與Coldplay「合體」表演熱單《My Universe》。
合體舞台的策劃早在節目數月前就已展開，由Coldplay Creative、Dimension Studio和虛擬製作機構All Of It Now (AOIN)共同完成。其中Dimension Studio拍攝了BTS樂隊成員的原始鏡頭，AOIN團隊則負責讓想像成真。
可視化預覽
舞台上的Coldplay成員和The Voice現場觀眾都看不到BTS防彈少年團，只有通過屏幕觀看節目才能看到。為此，AOIN通過與(LD)Sooner Routhier合作，在舞台上使用特定的落地燈來幫助Coldplay主唱Chris Martin確定BTS出現在舞台上的時間和位置。
「我們大量使用可視化預覽（previsualization），讓Coldplay了解每一時刻背後的創意順序，並向The Voice導演展示哪些類型的鏡頭效果良好，以及應該規避哪些鏡頭。」AOIN團隊介紹。
AOIN團隊收到來自The Voice團隊的3D舞台配置，能夠將表演者置於The Voice舞台的3D成像中。這一過程啟用了關鍵的可視化預覽，Coldplay Creative團隊甚至可以在進入工作室之前測試AR表演者的配置、跟蹤區域、過渡時間和攝像機遮擋。
AOIN能夠將3D舞台和攝像機動線提取到虛擬引擎Unreal 中，用7台AR攝像機創造真實世界比例的精確圖像，以便Coldplay可以預先知道每個時刻中哪些BTS成員是可視的，哪些攝像機可以精準捕捉這些時刻。因此可視化預覽成為將這些時刻傳達給所有相關人員的最佳方法。這種可視化預覽對於充分利用有限的現場時間至關重要，還有助於將所有技術和創造性工作變得可以共同理解並且可以共享。
技術挑戰
Dimension Studio提供了可全息處理的BTS原始捕捉視頻，有兩種格式，一種是Alembic序列，另一種是使用Microsoft針對Unreal Engine4.27.1的SVF插件的特殊mp4導出。由於同時播放7個Alembic序列的數據速率很高，因此選擇mp4方法作為首選方法，AOIN和Dimension團隊都在創意效果和序列方面取得了進展。
使用mp4方法需要克服一些技術挑戰。UE4的當前SVF插件無法將mp4錄音正確地跟蹤為時間碼。這需要AOIN和Microsoft合作重寫SVF插件代碼的元素，以便BTS表演者與舞台上的Coldplay保持同步。
體三維捕捉(volumetric capture)的原始錄製視頻在使用時的另一個挑戰是BTS表演以24 FPS錄製以匹配音樂視頻幀速率，但 The Voice 是以 29.97 FPS 的速率製作和播放。將 24 FPS混合到29.97輸出中會造成一些口型同步上的問題，不過AOIN能夠在後期製作中解決這些問題。
現場部署
除了製作這場表演外，The Voice團隊還在積極製作該賽季的剩餘節目。這意味需要圍繞 The Voice的現有演出和製作時間表安排和協調現場的各個方面，製作周期非常緊湊。該AR系統的安裝依賴於幾個不同的安裝階段：在演播室中為攝像機跟蹤系統安裝跟蹤貼紙、繪製跟蹤區域、為AR應用校準7個攝像機鏡頭、與The Voice團隊一起排練和攝像機遮擋表演，然後最後在舞台上與Coldplay一起排練AR表演，這一切都要在7天內完成。在快節奏的電視製作計劃中部署和校準7個AR攝像頭並非易事，但在The Voice製作團隊的幫助和支持下，AOIN團隊能夠順利完成校準和安裝。
「EIC Jerry Kaman在整個過程中的支持和監督對於這個項目的成功至關重要」，AOIN執行長Danny Firpo說， 「這個安裝過程通常是大多數項目出錯的地方，但Jerry對The Voice製作計劃的了解和經驗、以及引入額外攝像機的建議，是這個過程如此成功的原因。」
AOIN與Stype及其Red Spy Fiber攝像機跟蹤系統合作，並增強了2台已用於製作的Jib攝像機，然後用5台專用AR攝像機進行補充，即使在The Voice拍攝時也可以校準跟蹤攝像機的另一個片段。
能否在巡演「複製」這一現場？
如果Coldplay想在即將到來的巡演中重現這一「合體」現場，技術難度有多大？
「體三維捕捉視頻的好處在於它確實使這些內容在更多節目中更『便攜』，而且我們之前有過在巡演中使用AR技術的經驗。我們是首批為BTS 『2019 Love Yourself, Speak Yourself 』巡演提供AR製作的公司之一。」AOIN介紹，「最困難的部分是AR相機校準過程，這可能很耗時，沒有一顆強心臟不建議淺嘗。但如果有適當的計劃部署，完全可以做到。」
但在目前的技術手段，巡演現場的觀眾並不能看到全息投影的內容。「這就是我們為什麼說IMAG屏幕在體育場級節目中扮演非常重要的角色，觀眾可以在IMAG屏幕上觀看表演內容。同樣地，為了增加The Voice現場觀眾的體驗，我們與製作部門合作『指導觀眾』以響應關鍵的AR時刻，就好像BTS真的在舞台上一樣。」
標準IMAG和AR feed之間的延遲通常為5-7幀。這種延遲在體育場表演中通常是可以接受的，因為PA到體育場後方的延遲通常可以匹配此AR工作流程產生的額外延遲。「對於The Voice節目，在播出時，我們能夠延遲標準攝像機輸入以匹配AR輸入的延遲，這使得導播更容易在AR和非AR攝像機之間進行切換。也就是說，這是我們在流程早期與創意和技術方進行對話，以確保我們與預期保持一致，並制定策略來解決這種增加的延遲。」AOIN總結道。
AOIN團隊部分成員
科幻電影與現實的距離，是每一個幕後人向前奔跑的目標。
製作團隊
Coldplay Creative 團隊
Coldplay Creative總監：Phil Harvey
製作設計師兼聯合創意總監 ：Misty Buckley
視覺內容主管：Sam Seager
燈光設計師：Sooner Routhier
項目創意經理：Grant Draper
屏幕導演：Joshua Koffman
視頻設計師：Leo Flint
屏幕內容創建：NorthHouse Creative
AOIN現場團隊
執行製片人：Danny Firpo
製作經理：Nicole Plaza
技術總監：Berto Mora
高級UE4技術美術：Jeffrey Hepburn
高級AR工程師：Neil Carman
AR工程師：Preston Altree
體三維捕捉工作室：Dimension, London
執行製片人/聯合導演：Simon Windsor
銷售/客戶總監：Yush Kalia
製作主管：Adam Smith
製片人/技術總監：Sarah Pearn
高級首席三維技術美術：Adrianna Polcyn
動畫師：Ben Crowe
CG燈光美術：Marcella Holmes
Jump Studio（SK電訊），首爾
副總裁，元界公司負責人：Jinsoo Jeon
副總裁，元界開發負責人：khwan Cho
執行製片人：Sung Yoon Baek
業務發展：Taekeun Yoon
製作人：Minhyuk Che
舞台監督：Gukchan Lim
The Voice 團隊
執行製片人：Amanda Zucker
EIC - Jerry Kaman 導演：Alan Carter
監督編輯：Robert M. Malachowski, Jr.,
ACE後期製作主管、副總監：Jim Sterling
助理編輯：Joe Kaczorowski
編譯：ALEX