AWS Sideo Thumbnail Generator - Le guide de solution Node.js sans serveur

REMARQUE : Ne divisez pas en deux parties, il n'y a pas assez de texte ici pour justifier la division et l'article se concentre sur la solution sans discuter des choix.

Besoin de générer des miniatures vidéo de manière efficace et rentable à grande échelle ? Créons une solution véritablement sans serveur à l'aide d'AWS Lambda dont l'exécution ne coûte que quelques centimes, par rapport à l'utilisation de services de traitement multimédia dédiés.

Ce que nous allons construire

La solution consiste en une fonction Node.js Lambda qui :

• Traite les formats vidéo courants
• Échelles basées sur la charge de travail
• Implémente une logique de nouvelle tentative pour les opérations ayant échoué
• Déploiement via Infrastructure as Code
• Coûte une fraction d'un centime par vidéo à exécuter

Pourquoi la personnalisation

Il n'est pas très simple, ni bon marché, de générer des vignettes à grande échelle. Le facteur coût est particulièrement important dans le cas des vidéos : avec les images, tout ce que vous avez à faire est de redimensionner, de recadrer et de stocker la sortie du même type. Vous pouvez confier cette responsabilité à des services cloud tiers pour vous concentrer sur la fourniture d'autres fonctionnalités, ou avec juste un peu de travail, effectuer la tâche sans quitter votre VPC AWS. Avec les vidéos, le cas est différent. Les fichiers vidéo sont beaucoup plus volumineux, nous devons prendre en charge de nombreuses normes d'encodage différentes et le résultat final n'est plus une vidéo : nous extrayons essentiellement des images fixes.

AWS Native = Super cher

Lors de la recherche d'options, je me tourne toujours vers des solutions natives de la plateforme sur laquelle se trouve l'application. Dans AWS, c'est MediaConvert ou MediaLive. Les deux sont parfaits lorsque vous avez besoin d'un traitement vidéo de qualité professionnelle, mais lorsque tout ce que vous voulez, c'est récupérer une vignette d'une vidéo... eh bien, ils peuvent certainement le faire, mais sont-ils conçus pour gérer un tel cas d'utilisation ? Pas vraiment.

Aussi surprenant que cela puisse paraître, AWS ne dispose pas de service dédié à la génération de vignettes. Les solutions disponibles se concentrent sur d'autres cas d'utilisation, tels que la prise en charge du streaming multimédia ou l'exécution de tâches avancées de transformation vidéo.

Les problèmes sont assez évidents lorsque vous examinez les exigences pour créer une telle fonctionnalité avec ces services

• Lorsque vous travaillez avec les services AWS Media, il n'est pas possible de créer un pipeline de traitement sans sortie vidéo définie : vous devez traiter une vidéo entière et ignorer le résultat uniquement pour utiliser les vignettes qui sont un sous-produit de ce processus.
• en tant que tel, c'est très cher en tant que générateur de vignettes - payer 0,0075 $ par minute de vidéo traitée peut ne pas sembler beaucoup, mais cela s'additionne très rapidement - pour 1 000 vidéos, chacune d'une durée de 15 minutes, le coût du traitement serait supérieur à 100 $

La génération de quelques miniatures vidéo devrait-elle coûter plus cher que votre café du matin ? ☕ C'est simplement parce que, aussi puissants que soient ces services, ils sont excessifs pour des tâches simples comme la génération de vignettes.

Le coût réel des services AWS Media n'est pas seulement en dollars : il réside dans la complexité dont vous n'avez souvent pas besoin.

Chaque fois que je rencontre une nouvelle exigence, mon esprit se met en mode « trouver l'outil parfait pour le travail ». J'ai prêché l'importance de ne pas suivre ce que vous savez et de toujours explorer autant d'alternatives que possible pour que je puisse commencer à ressembler à un disque rayé... mais je suppose que j'aime la mélodie que joue ce disque ! ??

Vous pouvez aussi appeler cela une condition médicale. Je suis pleinement conscient de mes problèmes de TOC en ingénierie... ?

Mais je m'éloigne du sujet...

Au-delà d'AWS

Bien sûr, il existe d'autres solutions, mais elles s'accompagnent souvent de leurs propres maux de tête :

• Les services externes sont généralement facturés par appel API ou par quantité de données traitées
• Vous devez télécharger vos vidéos vers des services externes pour le traitement, ce qui signifie des coûts de sortie encore plus élevés
• Ils peuvent ne pas évoluer correctement, vous laissant avec une limitation de gestion

Une solution sur mesure

Construisons quelque chose qui n'est pas seulement moins cher, mais qui est également axé sur ce dont nous avons réellement besoin : une solution sans serveur qui génère des miniatures vidéo pour quelques centimes. ?

Le système utilise ces services et outils AWS :

• Amazon S3 - Stockage des vidéos sources et des vignettes générées
• AWS Lambda - Environnement de calcul sans serveur
• FFmpeg - Framework de traitement vidéo
• Docker - Emballage de conteneur pour le code FFmpeg et Lambda
• Amazon SQS - File d'attente des messages pour la coordination du traitement

Lorsqu'une vidéo est téléchargée dans le compartiment source S3, elle déclenche un événement qui met en file d'attente la demande de traitement. Une fonction Lambda le récupère et le traite à l'aide de FFmpeg exécuté dans un conteneur Docker. Les vignettes générées sont ensuite stockées dans un compartiment S3 cible. Les problèmes transitoires récupérables tels que les problèmes de limitation ou liés à l'infrastructure sont automatiquement réessayés, tandis que tous les autres événements ayant échoué sont automatiquement envoyés dans une file d'attente de lettres mortes à des fins d'audit.

Le service génère automatiquement des vignettes vidéo en deux tailles. La version plus grande comprend une icône vidéo semi-transparente au centre du cadre, aidant les utilisateurs à identifier rapidement le contenu vidéo.

Exemple de projet

• Tirer de GH

Service

• orchestration Utilisation du traitement vidéo
• FFmpeg
• deux types de vignettes
• différentes tailles dont une avec une superposition FFmpeg dans un conteneur
• c'est ainsi que nous rendons la CLI Ffmpeg disponible pour Lambda
• Fichier Docker Déploiement
• Construction de conteneurs
• Déploiement sans serveur
• Définition Lambda Dockerisée Tests
• int
• e2e Sans serveur
• autre chose à ce stade ?

Le conteneur magique ?

Voici notre Dockerfile qui regroupe FFmpeg avec Lambda :

Montre-moi l'argent ! ?

Décomposons les coûts de traitement de 1000 vidéos par mois :

AWS MediaConvert

• 0,08 $ par minute de vidéo
• 1 000 vidéos × 0,08 $ = 80 $

Notre solution

• Lambda : 1024 Mo × 10s × 1000 = 0,17 $
• S3 : Stockage GET/PUT = 0,05 $
• Total : 0,22 $

Cela représente une réduction des coûts de 99,7 % ! ?

Qu'est-ce qui pourrait mal tourner ? ?

Bien que cette solution soit géniale, elle n'est pas sans pièges :

• Utilisation de la mémoire : FFmpeg peut être gourmand en mémoire. Si vous traitez des vidéos 4K, vous devrez peut-être augmenter la mémoire Lambda.
• Limites de délai d'attente : pour les vidéos très longues, vous pouvez atteindre le délai d'attente de Lambda. Pensez à utiliser des fonctions step pour ces cas.
• Démarrages à froid : le conteneur est assez grand, donc les premiers appels peuvent être plus lents.

Quelle est la prochaine étape ? ?

Ce n'est que le début ! Vous pouvez étendre cette solution à :

• Générer plusieurs tailles de vignettes
• Extraire les métadonnées vidéo
• Créer des GIF d'aperçu
• Ajouter des filigranes vidéo

Conclusion ?

Nous avons créé une solution rentable et évolutive pour la génération de vignettes vidéo qui ne vous ruinera pas. Ne payez plus pour des fonctionnalités dont vous n'avez pas besoin !

N'oubliez pas : Parfois, la meilleure solution n'est pas la plus coûteuse ou la plus complexe - c'est celle qui fait exactement ce dont vous avez besoin, ni plus, ni moins.

Note

Vous avez trouvé cela utile ? Pensez à me suivre pour plus de contenu AWS et sans serveur ! Et si vos vignettes ressemblent à de l'art moderne au lieu de votre vidéo... eh bien, vérifiez d'abord le format de votre vidéo, puis déposez un commentaire ci-dessous ! ?

Blagues mises à part, j'aimerais entendre parler de vos expériences avec le traitement vidéo dans AWS. Avez-vous trouvé d’autres moyens créatifs d’optimiser les coûts ? Partagez dans les commentaires !

Clause de non-responsabilité

Bien que cette solution ait été testée en production, veuillez la tester minutieusement dans votre propre environnement avant de la déployer. Si quelque chose prend feu, j’ai une excellente recette de guimauves ! ?

---

--- Mes notes - points de discussion pour l'article

Pourquoi Docker avec Lambda - pas le premier choix, parfois le seul choix, alternative aux couches
C'est très bon marché à exécuter par rapport aux services AWS Media
C'est rapide, lancez une comparaison sur différentes tailles de fichiers
Ffmpeg testable

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!