recherche
MaisonPériphériques technologiquesIANUS et Byte ont collaboré de manière intersectorielle pour obtenir une formation 72 fois plus rapide grâce à l'optimisation des modèles, et ont remporté le prix AAAI2023 Outstanding Paper.

Récemment, la plus grande conférence internationale sur l'intelligence artificielle AAAI 2023 a annoncé les résultats de la sélection. Le document technique CowClip rédigé en collaboration par l'Université nationale de Singapour (NUS) et l'équipe Bytedance Machine Learning (AML) a été sélectionné pour les articles distingués. CowClip est une stratégie d'optimisation de la formation des modèles qui peut augmenter la vitesse de formation des modèles de 72 fois sur un seul GPU tout en garantissant la précision du modèle. Le code correspondant est désormais open source.

NUS et Byte ont collaboré de manière intersectorielle pour obtenir une formation 72 fois plus rapide grâce à loptimisation des modèles, et ont remporté le prix AAAI2023 Outstanding Paper.


Adresse papier : https://arxiv.org/abs/2204.06240

Adresse open source : https://github.com/bytedance/LargeBatchCTR

AAAI est une conférence annuelle organisée par l'Association internationale pour l'avancement de l'intelligence artificielle. Il s'agit de l'une des plus anciennes conférences universitaires de haut niveau dans le domaine de l'intelligence artificielle. L'AAAI 2023 a reçu un total de 8 777 soumissions d'articles, dont 1 721 articles ont été acceptés, avec un taux d'acceptation de 19,6 %. Le Département d'informatique de l'Université d'Oxford a remporté la plus haute récompense de la conférence (Outstanding Paper Award), et l'article collaboratif de l'Université de Pékin et d'autres institutions a remporté le Outstanding Student Paper Award. En outre, la conférence a également sélectionné 12 articles distingués, couvrant de nombreux domaines tels que l'optimisation de la stratégie de formation des modèles, l'optimisation des réseaux neuronaux graphiques et la recherche d'architecture neuronale.

Comment améliorer la vitesse de formation des modèles est un sujet éternel dans le domaine de l'apprentissage automatique. Depuis que Google a proposé le premier BERT de grands modèles pré-entraînés en 2018, la formation de grands modèles est progressivement devenue une tendance et une tendance dans le domaine de l'apprentissage profond. Cependant, la taille croissante du modèle signifie également qu’une formation complète prendra beaucoup de temps et nécessitera beaucoup de calculs. Selon des informations précédemment publiées par Google, lors de la formation de la variante T5 à 11 milliards de paramètres (le modèle pré-entraîné lancé par Google en 2019), le coût de fonctionnement unique dépasse 1,3 million de dollars.

La stratégie d'optimisation de la formation du modèle CowClip sélectionnée comme article exceptionnel peut réaliser une extraction de performances GPU plus suffisante et améliorer la vitesse de formation en garantissant la précision du modèle d'une taille de lot plus grande. Les expériences montrent que le modèle entraîné à l'aide de CowClip a non seulement une plus grande précision que les autres méthodes, mais améliore également considérablement la vitesse d'entraînement. L'entraînement du modèle Deep FM sur un seul GPU peut réduire le temps d'entraînement de 12 heures à 10 minutes sur la base des données de. l'ensemble de données publiques. La vitesse de formation du modèle est augmentée de 72 fois à la fois.

Avec une informatique efficace et des capacités d'analyse et de prise de décision plus précises, la technologie de l'intelligence artificielle est de plus en plus utilisée dans des domaines tels que les soins médicaux, la finance, la fabrication, l'éducation et le commerce électronique, ainsi que la précision des modèles. la formation et l'efficacité continueront d'être un facteur clé affectant le développement de l'industrie de l'intelligence artificielle.

Selon les rapports, l'équipe Bytedance Machine Learning (AML) a mis en œuvre la technologie de base de CowClip dans certaines des activités de l'entreprise. L'équipe fournit des services d'apprentissage automatique de niveau intermédiaire à l'entreprise, notamment en fournissant des systèmes de formation et des systèmes d'inférence à grande échelle pour des scénarios commerciaux tels que la recommandation de produits, la publicité et la recherche sur Toutiao, Douyin, Xigua Video, etc., et en fournissant des services simples et des services simples aux entreprises clientes via la plate-forme d'apprentissage automatique facile à utiliser, stable et fiable.


Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer
Les dangers cachés du déploiement interne de l'IA: lacunes de gouvernance et risques catastrophiquesLes dangers cachés du déploiement interne de l'IA: lacunes de gouvernance et risques catastrophiquesApr 28, 2025 am 11:12 AM

Le déploiement interne non contrôlé des systèmes d'IA avancés présente des risques importants, selon un nouveau rapport d'Apollo Research. Ce manque de surveillance, répandu parmi les grandes entreprises d'IA, permet des résultats catastrophiques potentiels, allant de peu

Construire le polygraphe AIConstruire le polygraphe AIApr 28, 2025 am 11:11 AM

Les détecteurs de mensonges traditionnels sont dépassés. S'appuyant sur le pointeur connecté par le bracelet, un détecteur de mensonge qui imprime les signes vitaux et les réactions physiques du sujet n'est pas précis pour identifier les mensonges. C'est pourquoi les résultats de détection de mensonge ne sont généralement pas adoptés par le tribunal, bien que cela ait conduit à de nombreuses personnes innocentes emprisonnées. En revanche, l'intelligence artificielle est un puissant moteur de données, et son principe de travail est d'observer tous les aspects. Cela signifie que les scientifiques peuvent appliquer l'intelligence artificielle aux applications qui recherchent la vérité de diverses manières. Une approche consiste à analyser les réponses des signes vitaux de la personne interrogée comme un détecteur de mensonge, mais avec une analyse comparative plus détaillée et précise. Une autre approche consiste à utiliser le balisage linguistique pour analyser ce que les gens disent réellement et utiliser la logique et le raisonnement. Comme le dit le dicton, un mensonge engendre un autre mensonge, et finalement

L'IA est-elle autorisée pour le décollage dans l'industrie aérospatiale?L'IA est-elle autorisée pour le décollage dans l'industrie aérospatiale?Apr 28, 2025 am 11:10 AM

L'industrie aérospatiale, pionnière de l'innovation, tire parti de l'IA pour relever ses défis les plus complexes. La complexité croissante de l'Aviation moderne nécessite l'automatisation de l'IA et les capacités d'intelligence en temps réel pour une sécurité améliorée, un fonctionnement réduit

Regarder la course de robot de printemps de PékinRegarder la course de robot de printemps de PékinApr 28, 2025 am 11:09 AM

Le développement rapide de la robotique nous a apporté une étude de cas fascinante. Le robot N2 de Noetix pèse plus de 40 livres et mesure 3 pieds de haut et pourrait être en mesure de se retourner. Le robot G1 de Uniree pèse environ deux fois la taille du N2 et mesure environ 4 pieds de haut. Il existe également de nombreux petits robots humanoïdes qui participent à la compétition, et il y a même un robot qui est poussé par un fan. Interprétation des données Le demi-marathon a attiré plus de 12 000 spectateurs, mais seulement 21 robots humanoïdes ont participé. Bien que le gouvernement ait souligné que les robots participants ont mené une "formation intensive" avant le concours, tous les robots n'ont pas terminé l'ensemble de la compétition. Champion - Tiangong Ult développé par Pékin Humanoid Robot Innovation Center

Le piège miroir: l'éthique de l'IA et l'effondrement de l'imagination humaineLe piège miroir: l'éthique de l'IA et l'effondrement de l'imagination humaineApr 28, 2025 am 11:08 AM

L'intelligence artificielle, dans sa forme actuelle, n'est pas vraiment intelligente; Il est apte à imiter et à affiner les données existantes. Nous ne créons pas de l'intelligence artificielle, mais plutôt une inférence artificielle - qui traite qui traitent les informations, tandis que les humains

La nouvelle fuite Google révèle la mise à jour des fonctionnalités de Google PhotosLa nouvelle fuite Google révèle la mise à jour des fonctionnalités de Google PhotosApr 28, 2025 am 11:07 AM

Un rapport a révélé qu'une interface mise à jour était masquée dans le code de Google Photos Android version 7.26, et chaque fois que vous visualisez une photo, une rangée de miniatures de visage nouvellement détectées s'affiche en bas de l'écran. Les nouvelles miniatures faciales manquent de balises de nom, donc je soupçonne que vous devez cliquer sur eux individuellement pour voir plus d'informations sur chaque personne détectée. Pour l'instant, cette fonctionnalité ne fournit aucune information autre que les personnes que Google Photos a trouvées dans vos images. Cette fonctionnalité n'est pas encore disponible, nous ne savons donc pas comment Google l'utilisera avec précision. Google peut utiliser des miniatures pour accélérer la recherche de plus de photos de personnes sélectionnées, ou peut être utilisée à d'autres fins, comme la sélection de l'individu à modifier. Attendons et voyons. Pour l'instant

Guide du renforcement Finetuning - Analytics VidhyaGuide du renforcement Finetuning - Analytics VidhyaApr 28, 2025 am 09:30 AM

Le renforcement de la fintuning a secoué le développement de l'IA en enseignant les modèles à s'ajuster en fonction de la rétroaction humaine. Il mélange des fondations d'apprentissage supervisées avec des mises à jour basées sur la récompense pour les rendre plus sûres, plus précises et vraiment aider

Dançon: mouvement structuré pour affiner nos filets neuronaux humainsDançon: mouvement structuré pour affiner nos filets neuronaux humainsApr 27, 2025 am 11:09 AM

Les scientifiques ont largement étudié les réseaux de neurones humains et plus simples (comme ceux de C. elegans) pour comprendre leur fonctionnalité. Cependant, une question cruciale se pose: comment adapter nos propres réseaux de neurones pour travailler efficacement aux côtés de nouvelles IA

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Outils chauds

Adaptateur de serveur SAP NetWeaver pour Eclipse

Adaptateur de serveur SAP NetWeaver pour Eclipse

Intégrez Eclipse au serveur d'applications SAP NetWeaver.

SublimeText3 version anglaise

SublimeText3 version anglaise

Recommandé : version Win, prend en charge les invites de code !

MantisBT

MantisBT

Mantis est un outil Web de suivi des défauts facile à déployer, conçu pour faciliter le suivi des défauts des produits. Cela nécessite PHP, MySQL et un serveur Web. Découvrez nos services de démonstration et d'hébergement.

DVWA

DVWA

Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel

Listes Sec

Listes Sec

SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.