J'ai testé Openai Sora et ici ce que j'ai découvert

Openai a officiellement libéré Sora , le jour 3 de leur série «12 jours d'Openai». Après des mois de suspense depuis sa première annonce en avril 2024, Sora s'est avérée être un grand saut dans l'espace de contenu vidéo généré par l'IA. OpenAI a publié le modèle Sora Turbo, la version accélérée haut de gamme du modèle Sora original. Regardons les fonctionnalités nouvellement ajoutées et essayons-le!

Notre cadeau de vacances à vous: Sora est là. https://t.co/uhdmyughtt pic.twitter.com/ljoruqsfo0

- Openai (@openai) 9 décembre 2024

Table des matières

• Qu'est-ce que Sora?
• Capacités d'Openai Sora
• Mettre Openai Sora à tester
• Comment accéder à Sora?
• Fonctionnalités Openai Sora
  • Produit séparé
  • Création et édition vidéo
  • Téléchargement d'image et amélioration
  • Thèmes (préréglages)
  • Sélection du rapport d'aspect
  • Durée vidéo
  • Intégration de texte et d'image
  • Storyboard (création avancée)
  • Qualité vidéo et résolution
• Les fondations techniques de Sora
• Considérations éthiques par Openai Sora
• Principaux à retenir
• Conclusion

Qu'est-ce que Sora?

Sora est un générateur de texte à vidéo qui utilise des modèles de diffusion et des architectures de transformateur avancés pour créer des vidéos basées sur des descriptions écrites. Ces vidéos sont générées en commençant par le bruit et en la raffinant progressivement sur plusieurs étapes. Ce processus de diffusion permet au modèle de produire des séquences vidéo réalistes et cohérentes à partir d'un large éventail d'entrées textuelles.

S'appuyant sur les succès antérieurs d'Openai avec GPT , Dall · E et Clip , Sora introduit un saut majeur en avant en permettant aux utilisateurs de créer des vidéos à partir de zéro ou d'étendre celles existantes en fonction des invites de texte. Que la génération d'une vidéo entièrement nouvelle ou d'animer une image, la capacité de Sora à créer des récits visuellement convaincants directement à partir du langage naturel est sans précédent.

Capacités d'Openai Sora

• Générer des vidéos à partir de texte: créer des vidéos à partir d'invites de texte simples.
• Étendre les vidéos existantes: poursuivre ou modifier les vidéos existantes.
• Animer les images: donner vie aux images fixes avec l'animation.
• Gérer les scènes complexes: maintenez la continuité sur plusieurs images.
• Échelle et adapter: générer des vidéos dans divers formats et longueurs.
• Transformer les vidéos: modifier les vidéos existantes en fonction des invites de texte.

Améliorations clés

• Physique réaliste: mouvement d'objet plus naturel.
• Vidéos plus longues: Créez des vidéos jusqu'à 20 secondes.
• Éclairage amélioré: vidéos plus attrayantes visuellement avec des effets d'éclairage dynamique.

Mettre Openai Sora à tester

Invite: Créez une vidéo sur White Dog jouant avec Kitten

Invite: Créez une vidéo d'un chien de danse sur une plage.

Invite du storyboard

Rapide:

• Une animation vive montre une molécule psychotrope ingérée, représentée comme une petite particule brillante entrant dans la bouche. L'arrière-plan est une représentation stylisée du système digestif humain, avec des couleurs tourbillonnantes suggérant le début d'un voyage complexe.
• La molécule se déplace à travers la circulation sanguine, entourée de globules rouges et blancs. Il est représenté comme une particule lumineuse et lumineuse se déplaçant rapidement à travers un réseau de vaisseaux sanguins.
• La molécule atteint la barrière hémato-encéphalique, représentée comme une paroi chatoyante et la pénètre, entrant dans le cerveau. La scène devient plus complexe, les neurones et les synapses éclairant lorsque la molécule interagit avec eux.

Rapide:

1. Dans une chambre pour enfants chaleureusement éclairée, un petit garçon et une fille s'assoient à l'intérieur d'une yourte de fortune confortable construite à partir de couvertures et d'oreillers à carreaux. Ils sont vêtus de chapeaux ludiques et de bottes en feutre, entourés d'une douce lueur de lampes. Les enfants gloussent alors qu'ils jouent avec un renne jouet, leurs yeux scintillants d'imagination.
2. Les enfants ferment étroitement les yeux, un sentiment d'anticipation dans l'air.
3. Alors qu'ils ouvrent les yeux, ils se transforment en adultes, debout devant un paysage d'hôtel moderne à Yakoutia, entouré de vraies yourtes et d'une vaste scène d'hiver enneigée.

Observation: Bien que la création des vidéos à l'aide du compte Chatgpt Plus m'a pris beaucoup de temps, je vois qu'il y a beaucoup de possibilités d'amélioration.

Comment accéder à Sora?

SORA peut être accumulé via le nouveau site Web - Sora.com. Vous pouvez utiliser vos plans Chatgpt pour accéder au modèle:

• Compte Chatgpt Plus : ce plan vous donne 50 générations par mois . Ceux-ci pourraient être liés au nombre de créations de texte à vidéo ou d'autres tâches spécifiques par mois.
• Compte OpenAI Pro : Cela offre des générations illimitées en mode file d'attente lent, plus 500 générations plus rapides par mois. Ce niveau semble se concentrer sur l'offre de plus de flexibilité, avec la possibilité de traiter les tâches plus rapidement pour un certain nombre de générations, tandis que d'autres tâches pourraient être en file d'attente et traitées plus lentement.
• Disponibilité : Le service ne sera pas disponible au Royaume-Uni et à l'UE au lancement, ce qui pourrait être dû à des considérations juridiques, réglementaires ou de confidentialité des données (telles que le RGPD). Cette limitation pourrait être levée à l'avenir à mesure qu'ils s'étendent à plus de régions.

Fonctionnalités Openai Sora

Produit séparé

• Sora est un produit autonome, non intégré à Chatgpt ou à d'autres plates-formes OpenAI.
• ACCESSIBLE via SORA.com , où des vidéos récemment générées et organisées sont affichées.

Création et édition vidéo

• Générer des vidéos à partir des invites : les utilisateurs peuvent créer des vidéos en fonction des invites de texte.
• Télécharger des images : les utilisateurs peuvent également télécharger des images, que Sora peut utiliser pour générer des vidéos.
• REMIX ENTREPRISE : Permet aux utilisateurs d'apporter des modifications aux vidéos existantes en décrivant les modifications souhaitées.
  • Réglage de la résistance : contrôle la façon dont la vidéo sera radicalement modifiée, avec des paramètres plus élevés conduisant à des changements plus artistiques.
• Édition vidéo : Sora peut également modifier des vidéos qui ont été générées à l'origine par l'outil.

Téléchargement d'image et amélioration

• Télécharger des images: vous pouvez commencer par télécharger une image pour créer une vidéo. Cette image peut servir de base et vous pouvez l'étendre avec d'autres éléments, du texte ou de l'animation.
• Description du texte: Vous pouvez également décrire l'image avec du texte. Plus votre description est détaillée, plus la création vidéo est spécifique suivra vos instructions. Pour des descriptions moins détaillées, l'outil comblera les lacunes avec la créativité générale et les détails.

Thèmes (préréglages)

• Sora fournit divers préréglages qui peuvent être utilisés pour définir le thème général de la vidéo. Certains exemples incluent:
  • Balloon World: Ce préréglage pourrait créer une atmosphère fantaisiste ou onirique.
  • STOP Motion: Un préréglage conçu pour imiter le style d'animation en stop-motion, donnant à votre vidéo un look à cadre cadre et artisanal.

Sélection du rapport d'aspect

• Vous pouvez choisir le rapport d'aspect pour votre vidéo. Certaines options communes incluent:
  • 16: 9 (écran large): idéal pour la plupart des vidéos, en particulier pour YouTube, des films à écran partout, etc.
  • 1: 1 (carré): adapté aux publications sur les réseaux sociaux comme Instagram.
  • 9:16 (vertical): parfait pour des plates-formes comme Tiktok ou Instagram Stories.

Durée vidéo

• Vous pouvez définir la durée de votre vidéo jusqu'à 20 secondes , ce qui vous donne une flexibilité dans la quantité de contenu incluse.

Intégration de texte et d'image

• La plate-forme permet la combinaison du texte et des images pour l'expression créative:
  • Créer en téléchargeant des images: vous téléchargez une image pour servir de base à votre vidéo, puis l'étendez ou l'anime avec du contenu supplémentaire.
  • Création basée sur le texte: vous pouvez décrire des scènes ou des images en utilisant du texte. Plus le texte est spécifique, plus la vidéo suit votre direction. Par exemple, une description détaillée guidera la vidéo pour reproduire les éléments exacts que vous mentionnez.

Storyboard (création avancée)

• Pour des projets vidéo plus complexes, le mode Storyboard vous permet de diriger la création vidéo le long d'une chronologie. Cela fournit:
  • Contrôle sur la séquence: vous pouvez définir l'ordre des éléments (texte, images et vidéos).
  • Édition avancée: il permet des ajustements plus précis et un séquençage des scènes.
  • Intégration multimédia: vous pouvez combiner des images, du texte et des clips vidéo pour créer une histoire visuelle narrative ou complexe.

Qualité vidéo et résolution

• Options de résolution : génère des vidéos jusqu'à une résolution 1080p .
  • Les images 1080p prennent 8 fois plus de temps à générer par rapport à 480p, ce qui est l'option la plus rapide.
  • 720p prend 4x plus de 480p.
  • 480p est le plus rapide.
• Temps de génération moyen : quelques minutes pour une vidéo 1080p (sous réserve de la demande et du trafic des utilisateurs).

En un mot,

Sora est une plate-forme de création vidéo flexible et conviviale avec de puissantes options de personnalisation. Tu peux:

• Télécharger des images ou décrire des scènes avec du texte.
• Choisissez parmi divers préréglages à thème comme Balloon World ou Stop Motion.
• Rapport d'aspect de contrôle et durée vidéo.
• Utilisez le mode Storyboard pour l'édition vidéo et le séquençage avancées.

Cette combinaison de fonctionnalités permet aux utilisateurs de créer facilement des vidéos attrayantes et professionnelles, même avec un minimum de connaissances techniques.

Ces fonctionnalités décrivent Sora comme un outil puissant mais encore imperméable pour générer du contenu vidéo créatif, en particulier pour les projets non phototoralistes et stylisés.

Les fondations techniques de Sora

Sora est fondamentalement construite sur le modèle de diffusion , une technique qui commence par un bruit aléatoire et l'affine de manière itérative dans une vidéo cohérente. Ce processus reflète comment les modèles traditionnels de diffusion de l'image à l'image fonctionnent, mais avec la complexité supplémentaire des séquences vidéo.

La clé de l'innovation de Sora est l'utilisation de la représentation basée sur les patchs pour les images et les vidéos. Semblable aux jetons en GPT, les vidéos et les images dans SORA sont décomposées en plus petits «patchs» de données. Cela permet au modèle de traiter plus efficacement les données visuelles grandes et complexes, ce qui le rend capable de générer des vidéos à travers diverses durées et résolutions.

De plus, Sora s'appuie sur la technique de recaption utilisée dans Dall · E 3 , ce qui lui permet de générer des légendes hautement descriptives pour ses données de formation. Cette capacité permet au modèle de suivre de près les invites textuelles, ce qui entraîne des vidéos fidèles aux instructions utilisateur et plus alignées sur la description de l'entrée.

Lire aussi: Qu'est-ce que le transformateur de diffusion Sora d'Openai (DIT)?

Considérations éthiques par Openai Sora

Voici ce que Sora s'attend à ce que vous fassiez:

1. Consentement : Télécharger uniquement les médias mettant en vedette les personnes ayant leur autorisation explicite et assurez-vous que les personnes de moins de 18 ans ont un consentement approprié.
2. Violence et thèmes explicites : ne téléchargez pas de contenu qui représente la violence, les thèmes explicites ou le matériel adulte.
3. Droits sur les médias : assurez-vous que vous disposez de la propriété ou des droits nécessaires pour télécharger les médias que vous partagez.
4. Conséquences : La mauvaise utilisation de la plate-forme en violant ces règles peut entraîner la suspension ou l'interdiction du compte sans remboursement.

Principaux à retenir

Sora d'Openai est un générateur de texte à vidéo avec des fonctionnalités comme des thèmes, le mode de storyboard et des résolutions jusqu'à 1080p. Cependant, il a des limites notables. Les vidéos sont plafonnées à 20 secondes, ce qui peut ne pas convenir à des récits plus longs. Le rendu à haute résolution (par exemple, 1080p) est un ralentissement exaltant en temps et ralentit considérablement les résolutions plus faibles. Actuellement, Sora n'est pas disponible au Royaume-Uni / UE en raison de problèmes réglementaires, limitant l'accès. De plus, les lignes directrices éthiques restreignent l'utilisation et les risques de violation représentent la suspension. Sora est puissant mais toujours en évolution, avec une place pour les améliorations techniques et d'accessibilité. De plus, la vitesse de la génération est assez lente, et elle est due aux vidéos haute résolution. Mais j'espère que cela s'améliorera avec le temps car OpenAI continue d'optimiser le modèle et son infrastructure sous-jacente. Les mises à jour futures peuvent apporter des vitesses de génération plus rapides sans compromettre la qualité des vidéos haute résolution, ce qui rend le processus plus efficace et convivial.

Conclusion

La version finale de Sora est une étape remarquable dans l'évolution de l'intelligence artificielle, combinant les dernières progrès du traitement du langage naturel (PNL) , de la vision par ordinateur et de l'apprentissage en profondeur pour générer des vidéos courtes et courtes de haute qualité directement à partir des invites de texte. Les implications potentielles de cette technologie sont de grande envergure, des industries créatives à l'éducation, au marketing et au-delà.

La vision d'Openai pour le modèle est une grande portée, dans le but ultime de créer des systèmes qui peuvent simuler le monde réel, nous rapprochant un peu de la réalisation de l'intelligence générale artificielle (AGI) . Au fur et à mesure que Sora évolue, ses capacités se développent probablement, incorporant des fonctionnalités plus avancées comme la génération de vidéos en temps réel, la narration interactive et même l'intégration avec la réalité virtuelle et augmentée.

L'avez-vous essayé? Faites-moi savoir vos réflexions dans la section des commentaires ci-dessous!

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!