Adobe和Hkust的Transpixarai:用AI驅動的透明度徹底改變VFX
什麼是transpixar ai?
現有的AI視頻生成工具在產生可觀的視覺效果方面表現出色,但通常會在煙霧,反射和空靈效果等透明元素中掙扎。 TransPixarai通過結合RGBA(紅色,綠色,藍色,alpha)通道來解決此限制。 這些alpha通道允許將透明元素無縫整合到任何場景中,從而解鎖了新的視覺現實主義水平。
您的瀏覽器不支持視頻標籤。
Adobe的Transpixar通過最少的訓練數據實現實時透明效果來徹底改變VFX的產生。這項由Adobe Research和Hkust開發的技術有可能重新定義跨電影,遊戲和AR。
>
它如何工作?通過利用現有視頻AI模型而不是從頭開始建立新的視頻AI模型,
transpixarai採用了獨特的方法。
>該系統為Alpha Channel的生成引入了新的代幣,並使用基於Lora的微調來確保在不損害RGB視覺質量的情況下生成透明度效果。 這種雙重焦點體系結構即使在有限的培訓數據中也可以產生高質量的透明效果。
>“我們重新定位了α令牌的位置嵌入,並將其投射到QKV空間,同時保留RGB質量,” HKUST的首席研究員Luozhou Wang說。這種方法在現實的透明度和高質量的視覺效果之間取得了完美的平衡。
>您可以在哪裡訪問? 為了鼓勵廣泛使用,transpixarai的代碼在Github上公開可用,並且在擁抱的臉上部署了演示。 通過API訪問,至少需要16GB VRAM和高性能GPU。
> github鏈接擁抱臉鏈接
娛樂:
簡化電影和電視的VFX創作,減少了成本和時間。>
以上是Transpixar AI:Adobe對好萊塢級VFX的答案! - 分析Vidhya的詳細內容。更多資訊請關注PHP中文網其他相關文章!