UniTok est une technique de tokenisation visuelle innovante visant à combler le fossé entre la génération et la compréhension d'images. Grâce à la technique de quantification à plusieurs codebooks, il améliore considérablement la capacité de représentation des tokeniseurs discrets, leur permettant de capturer des détails visuels et des informations sémantiques plus riches. Cette avancée technologique a permis de surmonter les goulots d'étranglement des tokeniseurs traditionnels pendant le processus d'entraînement, offrant une solution efficace et unifiée aux tâches de génération et de compréhension d'images. UniTok excelle dans les tâches de génération et de compréhension d'images, atteignant par exemple une amélioration significative du taux de précision zéro-shot sur ImageNet. Les principaux avantages de cette technologie incluent son efficacité, sa flexibilité et sa prise en charge robuste des tâches multimodales, ouvrant de nouvelles possibilités dans le domaine de la génération et de la compréhension d'images.