Pippo

Pippo est un modèle génératif capable de produire des vidéos haute résolution multi-vues à partir d'une seule photo.

Produit OrdinaireImageGénération d'imagesVidéo multi-vues

Pippo est un modèle génératif développé en collaboration entre Meta Reality Labs et plusieurs universités. Il permet de générer des vidéos haute résolution multi-vues à partir d'une simple photo, sans nécessiter d'entrée supplémentaire (comme des modèles paramétriques ou des paramètres de caméra). Son principal atout réside dans la génération de vidéos de qualité en résolution 1K. Basé sur une architecture de transformateur de diffusion multi-vues, il offre des perspectives d'application vastes, notamment dans la réalité virtuelle et la production cinématographique. Le code de Pippo est open source, mais les poids pré-entraînés ne sont pas inclus ; les utilisateurs doivent donc entraîner le modèle eux-mêmes.

Générer des vidéos haute résolution multi-vues à partir d'une seule photo
Prise en charge de l'entraînement de modèles à différentes résolutions (128
512
1024)
Fourniture de code d'entraînement et de support de jeux de données (comme Ava-256)
Calcul de l'erreur de reprojection entre l'image générée et l'image réelle
Mise à disposition de techniques de contrôle MLP et de biais d'attention pour optimiser les performances du transformateur de diffusion
Fonctionnement possible sur différentes configurations de GPU (telles que A100
T4)

Pippo convient aux chercheurs et aux développeurs
en particulier ceux qui travaillent dans les domaines de la vision par ordinateur
de la génération d'images et de la réalité virtuelle. Il leur fournit un outil puissant pour explorer les techniques de génération de vidéos de haute qualité à partir d'une seule image
applicable à la production cinématographique et au développement de contenu en réalité virtuelle.

Des chercheurs utilisent le modèle Pippo pour générer des vidéos multi-vues haute qualité à partir d'une seule photo
pour la création de contenu en réalité virtuelle.
Des équipes de production cinématographique utilisent Pippo pour générer des vidéos de personnages virtuels haute résolution
réduisant ainsi les coûts de tournage.
Des développeurs utilisent l'architecture du code de Pippo pour développer de nouvelles applications de génération d'images.

1. Cloner le dépôt : `git clone git@github.com:facebookresearch/pippo.git` et accéder au répertoire.
2. Configurer l'environnement : créer un environnement Conda et installer les dépendances
telles que PyTorch et d'autres bibliothèques.
3. Télécharger les données d'exemple : exécuter `python scripts/pippo/download_samples.py` pour télécharger des exemples du jeu de données Ava-256.
4. Lancer l'entraînement : sélectionner le fichier de configuration du modèle approprié en fonction de la configuration du GPU

Ouvrir le site Web

Pippo Dernière situation du trafic

Nombre total de visites mensuelles

474564576

Taux de rebond

36.20%

Nombre moyen de pages par visite

6.1

Durée moyenne de la visite

00:06:34

Pippo Tendance des visites

Pippo Distribution géographique des visites

Best AI Websites & Tools

Pippo

Pippo Dernière situation du trafic

Pippo Tendance des visites

Pippo Distribution géographique des visites

Pippo Sources de trafic

Pippo Alternatives

Pippo — Pippo est un modèle génératif capable de produire des vidéos haute résolution multi-vues à partir d'une seule photo.

CAT4D — Outil de création de scènes 4D utilisant un modèle de diffusion vidéo multi-vues

TokenVerse — TokenVerse est une méthode personnalisée multi-concept basée sur un modèle de diffusion pré-entraîné texte-vers-image.

CreatiLayout — Technique de génération d'images à partir d'une mise en page créative basée sur un transformateur de diffusion multimodale jumelée.

TryOffAnyone — Modèle de génération de patrons à plat à partir d'images de personnes habillées.

VMix — Outil d'amélioration de la qualité esthétique des modèles de diffusion texte-image

DiffSensei — Modèle de génération de mangas personnalisé, connectant les LLM multimodaux et les modèles de diffusion.

GenEx — Générer un monde 3D à 360° explorable à partir d'une seule image.

Leffa — Modèle de génération d'images de personnages contrôlables

ComfyUI_HelloMeme — Outil de génération d'images et de vidéos basé sur un modèle de diffusion

PSHuman — Reconstitue des modèles 3D réalistes du corps humain à partir d'une seule image.

text-to-pose — Modèle générant des poses à partir de texte et générant ensuite des images.

stable-diffusion-3.5-large-turbo — Modèle de génération d'images à partir de texte haute performance

stable-diffusion-3.5-large — Modèle de génération d'images à partir de texte haute performance

ACE : Créateur et Éditeur Polyvalent Suivant les Instructions via Transformateur de Diffusion — Créateur et éditeur polyvalent capable de suivre les instructions via un transformateur de diffusion.

Peinture Inverse — Technique de peinture inverse, reconstituant le processus de création d'une œuvre.

Flex3D — Génère des actifs 3D de haute qualité à partir d'une seule image ou d'une invite textuelle.

HelloMeme — Intègre l'attention tissée spatiale pour améliorer la fidélité conditionnelle des modèles de diffusion.

Extension d'image Diffusers Outpaint — Extension d'image basée sur un modèle de diffusion.

GVHMR — Restauration de la localisation mondiale du mouvement humain basée sur un système de coordonnées de perspective gravitationnelle

OmniGen — Framework unifié de génération d'images, simplifiant la génération d'images multitâches.

AvatarPose — Technique d'estimation de la pose 3D du corps humain

RodinHD — Modèle de génération d'avatars 3D haute fidélité

GaussianCube — Représentation structurée et haute précision du rayonnement pour la modélisation générative 3D.

Flash Diffusion — Modèle de diffusion permettant de générer rapidement des images de haute qualité.

UniAnimate — Modèle pour la génération efficace d'animations vidéo de personnages cohérentes

Hallo — Technique d'animation d'images de portraits basée sur un modèle de diffusion

Era3D — Modèle de diffusion multi-vues haute résolution utilisant un mécanisme d'attention par ligne efficace.

CAT3D — Création de scènes 3D à partir d'images multi-vues

MuLan — MuLan : modèle de diffusion multilingue adapté à plus de 110 langues