Veiller tard ce soir pour Messi et Modric ! Ce modèle de CV permet de gagner en devinant la balle

Avant-hier, les fans de Ronaldo avaient le cœur brisé.

Lors de la Coupe du monde au Qatar le 11 décembre, le Portugal a perdu contre le Maroc et s'est arrêté en quarts de finale. Le parcours de Ronaldo en Coupe du monde a connu une fin regrettable.

#Cristiano Ronaldo a dit que le rêve était terminé # Cette recherche brûlante a rassemblé d'innombrables fans au cœur brisé.

Le match entre le Portugal et le Maroc a eu un résultat surprenant de 0:1. Ronaldo pleure, Neymar pleure, qui sera le prochain ?

Cependant, avant de pouvoir surmonter la tristesse pour Cristiano Ronaldo, nous avons ce soir un autre duel entre Messi et Modric !

Vous avez peur que votre cœur ne puisse pas le supporter ?

Maintenant, avec un tel modèle, vous pourrez peut-être savoir à l'avance si le jeu sera bouleversé dans les 5 premières minutes de jeu.

Quand la vision par ordinateur est utilisée dans le football

Cet ingénieur étranger en machine learning a toujours voulu combiner la vision par ordinateur (CV) avec son football bien-aimé.

Il y a trois ans, il a essayé d'utiliser YOLOv3 pour détecter et classer les joueurs sur le terrain de basket.

La Coupe du Monde de la FIFA en cours lui a fait reprendre cette idée.

Cette fois, il a utilisé une combinaison de YOLOv5 et ByteTRACK pour suivre les joueurs de football sur le terrain.

Étape 1 : Construire un détecteur pré-entraîné

Au départ, Skalski voulait ignorer la formation sur un modèle personnalisé.

Il espère que cela ne prendra que quelques heures du début à la fin et que ce sera une victoire rapide.

Étant donné que l'ensemble de données COCO populaire utilisé pour entraîner les modèles YOLOv5 et YOLOv7 contient les deux classes qui l'intéressent le plus - la personne et le ballon de sport, cela le rend très optimiste quant au fait que l'entraînement puisse être effectué à partir du point de contrôle COCO.

Il a rapidement téléchargé des dizaines de courtes vidéos de matchs de football de Bundesliga Data War de Kaggle et a utilisé le modèle pré-entraîné pour les tests.

Après avoir essayé diverses configurations telles que iou_threshold, trust_threshold, input_resolution, etc., il a obtenu des résultats décevants.

Sur ce modèle, la balle n'est détectée que sur quelques images vidéo car le nombre est trop petit pour que le modèle puisse suivre de manière fiable un objet aussi petit et se déplaçant rapidement.

D'autre part, ce modèle détectera de nombreux objets redondants en dehors du terrain - entraîneurs, supporters, personnel d'entretien, équipes de tournage, etc. Pour ces objets redondants, une logique de détection et de filtrage supplémentaire doit être écrite, ce qui est trop gênant.

On peut voir que même si l'ensemble de données contient les classes requises, les vidéos utilisées pour l'inférence sont définitivement très différentes des images utilisées pour la formation.

Dans ce cas, Skalski ne peut créer que son propre ensemble de données et entraîner un modèle personnalisé.

Étape 2 : Construire un détecteur personnalisé

La formation d'un modèle personnalisé demande beaucoup d'efforts.

La raison principale est que pour annoter des images, il faut effectuer beaucoup de travail manuel.

En raison du manque de temps, le processus doit être simplifié autant que possible.

Skalski a sélectionné quelques dizaines de vidéos de l'ensemble de données Kaggle susmentionné et a utilisé FFmpeg pour extraire 10 images de chaque vidéo, une toutes les 3 secondes.

L'étape suivante consiste à effectuer une annotation préliminaire automatique sur l'image et à enregistrer les objets détectés dans un fichier txt pour utiliser le modèle YOLOv5 pré-entraîné.

Ensuite, la deuxième étape consiste à améliorer les données.

Bien que l'ordinateur ait effectué 90 % du travail, la correction manuelle a quand même pris à Skalski près de 5 heures.

Dans le même temps, il a également introduit deux classes d'objets supplémentaires : l'arbitre et le gardien de but. Les résultats de son travail sont visibles sur Roboflow Universe. L’ensemble de données est open source et gratuit pour tous.

Pré-entraînement vs détecteur de joueur de football personnalisé

Les résultats de l'entraînement personnalisé rendent Skalski confiant dans la résolution des deux problèmes ci-dessus.

Mais malheureusement, probablement en raison d'un déséquilibre de classification, le modèle a encore des problèmes pour détecter la classe des gardiens de but.

Donc, Skalski traite chaque gardien de but comme un joueur de football ordinaire.

Le modèle de Skalski est disponible sur Roboflow Universe, tout comme son ensemble de données. Faites simplement glisser et déposez l’image de test.

Étape 3 : Suivre l'objet

Skalski utilise ByteTRACK (l'un des trackers multi-objets SOTA) pour suivre les objets dans la vidéo.

ByteTRACK n'utilise aucun réseau neuronal en interne. La puissance de ce modèle vient entièrement de calculs simples : comparer les positions des boîtes englobantes entre les images.

Le plus important est que ByteTRACK n'est pas responsable de la détection, seulement du suivi. Par conséquent, il ne nécessite pas de formation séparée comme certains autres trackers.

Ainsi, ByteTRACK nous permet de remplacer facilement les détecteurs sans repenser toute l'architecture du code.

Ce qui suit est un extrait de code simplifié Dans votre propre projet, vous devez utiliser le code de départ de ByteTRACK.

Dans le projet ByteTRACK, chaque objet sur le cadre possède un identifiant unique.

Voici le résultat du modèle :

ByteTRACK Single Frame Results

Comme vous pouvez le voir, chaque joueur se voit attribuer un numéro unique et un suivi entre les images.

Bien sûr, les tests et le traçage ne sont qu'un début.

Avec ceux-ci, nous pouvons passer au niveau supérieur !

Par exemple, il est désormais possible d'analyser rapidement le déroulement d'une action, de comprendre comment le ballon se déplace entre les joueurs, de calculer la distance parcourue par un joueur ou encore de localiser les zones du terrain où ils apparaissent le plus souvent.

Internautes : Ce serait dommage de ne pas parier sur le football

Certains internautes ont dit : Puisque vous avez tant d'informations, ce serait une véritable perte de ne pas parier sur le football.

En réponse, certains internautes enthousiastes ont déclaré : "C'est tellement rêveur ! J'ai toujours voulu faire une telle chose et la vendre aux gens qui jouent au football

"Vous pouvez le montrer à tout le monde." Le statut de passe et la préparation des joueurs offensifs à chaque seconde peuvent même être utilisés pour effectuer une évaluation des performances à 360 degrés des joueurs qui n'ont jamais été dépassés, ce qui est bien plus précis que les cotes estimées

Selon les internautes ! : Dream est une mini-carte en temps réel pour les matchs de football.

Certains internautes sérieux ont demandé : « Ce script est-il uniquement applicable à un angle de caméra fixe, par exemple d'un côté couvrant tout le sol ? Peut-il être utilisé dans d'autres angles de caméra, comme 3-4 Un joueur prend une photo de mise au point. "J'ai l'impression que les données d'entraînement sous un autre angle ne fonctionneront pas. Mon idée est de continuer à exécuter le script tout en filmant sous l'angle complet de la caméra, mais de noter la position du ballon et des joueurs autour de lui et de le marquer sur n'importe quel autre angle. nourrit les données."

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!