首頁  >  文章  >  科技週邊  >  字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

王林
王林原創
2024-06-24 14:03:311049瀏覽
字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍
AIxiv專欄是本站發布學術、技術內容的欄位。過去數年,本站AIxiv專欄接收通報了2,000多篇內容,涵蓋全球各大專院校與企業的頂尖實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或聯絡報道。投稿信箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
 
在生成式模型的迅速發展中,Image Tokenization 扮演著一個很重要的角色依賴,例如Diffus​​也會依賴的依賴的。這些Tokenizers會將影像編碼至一個更緊湊的隱空間(latent space),使得產生高解析度影像更有效率。

然而,現有的Tokenizer通常會將輸入圖像映射為隱空間的一個降採樣後的2D矩陣,這一設計隱式的限制了token與圖像之間的映射關係,導致其很難有效的利用影像中的冗餘資訊(例如相鄰的區域經常會有類似的特徵)來獲得一個更有效的影像編碼。

為了解決這個問題,字節跳動豆包大模型團隊和慕尼黑工業大學提出了全新的1D圖像Tokenizer:TiTok,這一Tokenizer打破了2D Tokenizer的設計局限,可以將整個圖片壓縮至更為緊湊的Token序列。

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

  • 論文連結:https://arxiv.org/abs/2406.07550 
  • 專案連結:https://yucornetto.githgitho.io/projects https://github.com/bytedance/1d-tokenizer
對於256 x 256解析度的圖片,TiTok最少只需32個Token就可以表達,比通常2D Tokenizer的256或Token顯著減少。 512 x 512解析度的圖片,TiTok最少僅需64個Token,64倍小於Stable Diffusion的VAE Tokenizer。此外,在ImageNet影像產生此任務上,使用TiTok作為Tokenizer的生成器在生成品質和生成速度上都有顯著提升。

在256分辨率,TiTok獲得了1.97的FID,顯著超過使用同樣生成器的MaskGIT 4.21。在512解析度TiTok可以獲得2.74的FID,不僅超過了DiT(3.04),並且相比DiT在影像生成上加速了驚人的410倍! TiTok的最好變種取得了2.13的FID,顯著超過DiT的同時仍舊有74倍的加速。

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

                         
                               影像所需Token中產生了顯著的產生速度,但是同時維持了高品質的影像生成。

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

模型結構

TiTok的結構非常簡單,編碼器和解碼器部分在各自是一個Vipat,在編碼過程中,一組latchesimage s會在別後,過完編碼器後,僅保留latent tokens並進行quantization的過程。所得的quantized latent tokens將會與一組mask tokens拼接在一起,一併送入解碼器,從mask token序列中重建出影像。
1D Tokenization 性质研究

研究者进行了一系列实验研究关于不同数量的用于表示图像的token,不同的tokenizer大小,重建表现,生成表现,linear probing准确率,以及训练和推理速度的比较。在这一过程中,研究者发现(1)仅需32个Token便能取得很好的重建与生成效果(2)通过增大Tokenizer的模型大小,研究者可以使用更少的Token来表示图片( 3)当图片使用较少的Token来表示时,Tokenizer会学到更强的语义信息(4)使用更少的Token来表示图片时,训练和推理速度都有了显着的提升。

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

此外,视频中展示了使用不同的Tokenizer大小以及Token数目时所重建出的图片,可以看到更大的Tokenizer可以在有限的Token下重建出质量更好的图像。此外,当仅有有限Token时,模型更倾向于保留显着区域有更好的重建效果。

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

实验验证

研究者主要在ImageNet-1k的256 x 256分辨率以及512 x 512分辨率上进行了与其他方法的比较。可以看到,尽管TiTok使用有限的Token数目,但是可以和其他使用更多Token的方法取得相当的重建效果(rFID),使用较少的Token数目让TiTok在维持较高的生成图片质量(gFID)的同时有着显着快于其他方法的生成速度。

例如TiTok-L-32获得了2.77的gFID score,同时可以以每秒101.6张图片的速度进行图片生成,这一速度显着快于其他Diffusion Models (169倍快于DiT)或者Transformer Models (339倍快于ViT-VQGAN).

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

TiTok使用较少Token的优势在更高分辨率的图像生成上更加明显,其中TiTok-L-64仅使用64个Token就能完成高质量的512分辨率图像的重建与生成,生成图像的质量不仅高于DiT (2.74 v.s. 3.04),同时生成速度提高了近410倍。

字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍

结论

在本文中,研究者专注于一个全新的1D Image Tokenizer,并提出了一种全新的Tokenizer来打破现有2D Tokenizer中的局限,进而更好的利用图像中的冗余信息。 TiTok仅需少量的Token(比如32个)来表示图像,同时仍旧能进行高质量的图像重建与生成。在ImageNet的256分辨率和512分辨率生成实验中,TiTok不仅取得了超过Diffusion Models的生成质量,同时有着百倍更快的生成速度。

关于豆包大模型团队

字节跳动豆包大模型团队成立于2023 年,致力于开发业界最先进的AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。

豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。

欢迎加入字节跳动豆包大模型团队,点击下方链接即可进入字节跳动 Top Seed 计划:
https://mp.weixin.qq.com/s/ZjQ-v6reZXhBP6G27cbmlQ

以上是字節豆包全新圖像Tokenizer:生成圖像最低只需32個token,最高提速410倍的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn