Adobe和Hkust的Transpixarai:用AI驱动的透明度彻底改变VFX
什么是transpixar ai?
现有的AI视频生成工具在产生可观的视觉效果方面表现出色,但通常会在烟雾,反射和空灵效果等透明元素中挣扎。 TransPixarai通过结合RGBA(红色,绿色,蓝色,alpha)通道来解决此限制。 这些alpha通道允许将透明元素无缝整合到任何场景中,从而解锁了新的视觉现实主义水平。
您的浏览器不支持视频标签。
Adobe的Transpixar通过最少的训练数据实现实时透明效果来彻底改变VFX的产生。这项由Adobe Research和Hkust开发的技术有可能重新定义跨电影,游戏和AR。
>
它如何工作?通过利用现有视频AI模型而不是从头开始建立新的视频AI模型,
transpixarai采用了独特的方法。
>该系统为Alpha Channel的生成引入了新的代币,并使用基于Lora的微调来确保在不损害RGB视觉质量的情况下生成透明度效果。 这种双重焦点体系结构即使在有限的培训数据中也可以产生高质量的透明效果。
>“我们重新定位了α令牌的位置嵌入,并将其投射到QKV空间,同时保留RGB质量,” HKUST的首席研究员Luozhou Wang说。这种方法在现实的透明度和高质量的视觉效果之间取得了完美的平衡。
>您可以在哪里访问? 为了鼓励广泛使用,transpixarai的代码在Github上公开可用,并且在拥抱的脸上部署了演示。 通过API访问,至少需要16GB VRAM和高性能GPU。
> github链接拥抱脸链接
娱乐:
简化电影和电视的VFX创作,减少了成本和时间。>
以上是Transpixar AI:Adobe对好莱坞级VFX的答案! - 分析Vidhya的详细内容。更多信息请关注PHP中文网其他相关文章!