Open-Sora Plan v1.2

Architecture de modèle avancée dans le domaine de la génération de vidéos à partir de texte

Produit OrdinaireVidéoGénération vidéoTexte vers vidéo

Open-Sora Plan v1.2 est un modèle de génération de vidéo open source, axé sur la conversion de texte en vidéo. Il adopte une architecture d'attention 3D complète, optimise la représentation visuelle des vidéos et améliore l'efficacité de l'inférence. Ce modèle est innovant dans le domaine de la génération de vidéos, car il permet de mieux saisir les caractéristiques spatio-temporelles conjointes, ouvrant ainsi de nouvelles voies pour la génération automatique de contenu vidéo.

Adoption d'une architecture de modèle 2+1D pour une génération rapide de vidéos à partir de texte
Optimisation de la structure CausalVideoVAE pour une meilleure compression de la représentation visuelle et une efficacité d'inférence accrue
Utilisation d'une architecture d'attention 3D complète pour une meilleure compréhension du monde
Publication en open source
incluant le code
les données et le modèle
afin de favoriser le développement de la communauté
Entraînement sur l'ensemble de données vidéo Kinetic400 et réglage fin avec des poids EMA
Évaluation à l'aide d'indicateurs tels que PSNR
SSIM et LPIPS pour garantir la qualité vidéo

Le public cible est constitué de chercheurs et de développeurs dans le domaine de la génération de vidéos
qui ont besoin de technologies de pointe pour améliorer la capacité de génération automatique de contenu vidéo. Open-Sora-Plan offre un outil puissant pour les aider à explorer et à réaliser une génération de vidéos de meilleure qualité.

Des chercheurs utilisent Open-Sora Plan v1.2 pour générer des vidéos pédagogiques de haute qualité.
Des créateurs de contenu utilisent ce modèle pour générer automatiquement du contenu vidéo
améliorant ainsi leur efficacité.
Les entreprises utilisent Open-Sora-Plan pour générer automatiquement des vidéos de démonstration de produits.

1. Accédez à la page GitHub d'Open-Sora Plan v1.2 pour en savoir plus sur les informations de base et les conditions d'utilisation du modèle.
2. Téléchargez et installez les bibliothèques et outils nécessaires pour assurer la compatibilité de l'environnement.
3. Configurez l'environnement d'entraînement et préparez l'ensemble de données en suivant le code et la documentation fournis.
4. Exécutez le script d'entraînement pour lancer le processus d'entraînement du modèle.
5. Utilisez le modèle entraîné pour effectuer des tâches de génération de vidéos à partir de texte.

Ouvrir le site Web

Open-Sora Plan v1.2 Dernière situation du trafic

Nombre total de visites mensuelles

474564576

Taux de rebond

36.20%

Nombre moyen de pages par visite

6.1

Durée moyenne de la visite

00:06:34

Open-Sora Plan v1.2 Tendance des visites

Open-Sora Plan v1.2 Distribution géographique des visites

Best AI Websites & Tools

Open-Sora Plan v1.2

Open-Sora Plan v1.2 Dernière situation du trafic

Open-Sora Plan v1.2 Tendance des visites

Open-Sora Plan v1.2 Distribution géographique des visites

Open-Sora Plan v1.2 Sources de trafic

Open-Sora Plan v1.2 Alternatives

Open-Sora Plan v1.2 — Architecture de modèle avancée dans le domaine de la génération de vidéos à partir de texte

Mira — Un framework expérimental pour la génération de vidéos longues de haute qualité, caractérisé par une longueur de séquence étendue et des caractéristiques dynamiques améliorées.

Wan2GP — Wan2GP est un modèle de génération vidéo open source optimisé, conçu pour les utilisateurs de GPU peu performants, prenant en charge plusieurs tâches de génération vidéo.

Wan2.1 — Wan2.1 est un modèle de génération vidéo évolué et open source à grande échelle, prenant en charge plusieurs tâches de génération vidéo.

Wan2.1-T2V-14B — Wan2.1-T2V-14B est un modèle de génération de vidéo à partir de texte hautes performances, prenant en charge plusieurs tâches de génération vidéo.

SkyReels-V1-Hunyuan-I2V — SkyReels V1 est un modèle de base vidéo open source centré sur l'humain, axé sur la génération de vidéos de qualité cinématographique.

FlashVideo — FlashVideo est un modèle de génération vidéo haute résolution et performant, axé sur la fluidité des détails et la fidélité.

Magic 1-Pour-1 — Magic 1-Pour-1 est un modèle de génération d'image à vidéo hautement efficace, capable de générer une vidéo d'une minute en une minute.

Sora sur appareil — Sora sur appareil est un projet de génération de vidéo à partir de texte sur appareil mobile, basé sur un modèle de diffusion.

Go with the Flow — Une méthode efficace pour contrôler les modes de mouvement des modèles de diffusion vidéo, prenant en charge la personnalisation et le transfert des modes de mouvement.

leapfusion-hunyuan-image2video — Une nouvelle technique d'échantillonnage image-vers-vidéo, basée sur le modèle Hunyuan, permettant la génération de vidéos de haute qualité.

Kit de démarrage vidéo IA — Un projet open source permettant de démontrer des modèles de génération de vidéos IA dans un navigateur.

Système de Clone d'Avatar Numérique IA — Technologie de synchronisation labiale d'avatar numérique IA, solution OEM avec licences multiples illimitées.

HunyuanVideo — Framework d'entraînement de modèles de génération vidéo de grande taille, open source de Tencent

LTXV — Modèle open source de génération vidéo IA en temps réel

CogVideoX1.5-5B-SAT — Modèle de génération vidéo open source, prenant en charge les vidéos de 10 secondes et une résolution supérieure.

ComfyUI-MochiWrapper — Noeud d'enveloppement ComfyUI pour le générateur vidéo Mochi

mochi-1-preview — Modèle de génération vidéo de Genmo, offrant des mouvements haute fidélité et une forte cohérence des invites.

Pyramid Flow — Technique d'appariement de flux pyramidale pour une modélisation efficace de la génération de vidéos

Dream Machine API — Plateforme d'intelligence créative pour la création de produits IA magiques

VideoTetris — Cadre innovant de génération de vidéo à partir de texte

MotionClone — Clonage de mouvement sans entraînement préalable, permettant une génération vidéo contrôlable.

Follow-Your-Pose — Modèle innovant de génération de vidéo à partir de texte, permettant la création d'animations guidées par la pose.

Open-Sora-Plan-v1.1.0 — Modèle open source de génération de vidéo à partir de texte, aux performances exceptionnelles.

CameraCtrl — Contrôle précis de la posture de la caméra pour la génération de vidéos à partir de texte

StreamingT2V — StreamingT2V : Génération de texte vidéo long, cohérente, dynamique et évolutive

VLOGGER — Génération de vidéos humaines animées par du texte et de la voix, à partir d'une seule image d'entrée.

MorphStudio — Morph Studio permet aux utilisateurs de créer des vidéos uniques à partir d'invites textuelles.

SoraFlows — Plateforme WebUi open source permettant de créer facilement des vidéos.

Sora Prompts — Sora est un outil de génération vidéo basé sur le traitement du langage naturel (NLP), développé par OpenAI.