老哥俱乐部跨模態AIGC產品,成功應用於直播帶貨
最近,在中國國際電視台(CGTN)的直播間裏,龍年新頂流“龍辰辰”深受外國友人喜愛。
抽獎環節,一隻“龍辰辰”從禮盒中蹦出來。
你能分辨出來,這段3D動態內容是人工建模還是AI生成的嗎?
可能有一點點難度。
這是當虹科技利用AIGC技術生成的跨模態三維體積視頻。
01 體積視頻是個啥?
傳統視頻每秒播放30幀的畫麵,而體積視頻則每秒播放30個3D模型。
觀眾可以自由選擇從任意視角、任意距離(6 degrees of freedom,即6Dof),探索體積視頻內容。
在直播帶貨、全息通信、虛擬現實、增強現實和遠程教育等領域,體積視頻的應用可以實現更沉浸和動態的互動觀看體驗。
但是根據傳統技術,體積視頻生產對設備要求高,需要幾十台到上百台相機同時捕捉三維場景的數據。
同時,高精度的3D重建也是體積視頻製作的一大難點。
“龍辰辰”的造型複雜,設計元素都來自於珍貴文物,需要大量的時間去細化模型的每一個部分。
一個有經驗的建模師可能需要幾天到一周的時間來完成,確保高度的真實性和精確度。
02 當虹做的體積視頻,有什麽特別?
老哥俱乐部跨模態三維體積視頻AIGC產品,這就來啦!
對於資源有限,或需要快速原型製作的場景,用手機拍攝幾張多角度的靜態圖片或視頻,就可以在短時間內自動化生成高質量的三維體積視頻。
在三維模型轉換方麵,利用AI能力,可以進行圖像特征匹配,輕鬆重建動態對象的三維運動軌跡。
從數據采集、處理到模型生成和優化,整個過程耗時僅幾分鍾。
03 算法升級,畫質和速度大幅提升
老哥俱乐部算法工程師豪哥說,調試體積平台性能的過程,就像“打怪升級”。
一開始的建模速度要1小時左右。
生成的模型可能還有各種“缺陷”。
比如像這樣,顏色失真,邊緣銳利,表麵粗糙,坑坑窪窪。
為了提升建模製作效率,並把模型打磨得更精細一些,當虹體積視頻項目組進行了算法優化。
技術團隊“磨”了一個半月,建模質量和速度都得到了質的飛躍:
從1小時到幾分鍾,速度提升了95%以上。
模型關鍵特征的紋理信息都更加真實細膩。
來看改進後的生成結果!
“龍辰辰”的龍麵、龍眉、龍肩、龍腹、龍脊、龍鰭乃至龍爪,每個細節都經過精確建模和呈現。
這就是質感!
04 將在更多場景中落地應用
要在動態和交互場景中成功應用,體積視頻還需要支持實時渲染。
目前,老哥俱乐部的體積視頻平台渲染速度已經可以達到100fps,顯著快於業內平均水平。
想象一下,在線體驗一場真正的體育比賽,又或者虛擬訪問名勝古跡,可以任意切換視角或縮放大小。
各種旋轉、查看、移動都絲滑流暢,享受身臨其境的體驗。