Le premier grand modèle d'interface utilisateur en Chine est lancé ! Le grand modèle de Motiff crée le meilleur assistant pour les concepteurs et optimise le flux de travail de conception d'interface utilisateur

La vitesse de développement de l’intelligence artificielle dépasse peut-être votre imagination. Depuis que GPT-4 a introduit la technologie multimodale aux yeux du public, les grands modèles multimodaux sont entrés dans une phase de développement rapide, passant progressivement de la recherche et du développement de modèles purs à l'exploration et à l'application dans des domaines verticaux, et sont profondément intégrés dans tous les horizons. Dans le domaine de l'interaction des interfaces, des géants technologiques internationaux tels que Google et Apple ont investi dans la recherche et le développement de grands modèles d'interface utilisateur multimodaux, ce qui est considéré comme la seule voie à suivre pour la révolution de l'IA des téléphones mobiles.

Dans ce contexte, le premier grand modèle d'interface utilisateur en Chine est né. Le 17 août, lors de la conférence internationale sur la conception d'expériences IXDC2024, Motiff, un outil de conception à l'ère de l'IA, a lancé son modèle multimodal d'interface utilisateur développé indépendamment - Motiff Model. Il s'agit du premier modèle à grande échelle au monde développé par une société d'outils de conception d'interface utilisateur, marquant la montée en puissance de la Chine en matière de conception d'interface utilisateur sur la scène mondiale.

(Lors de la conférence IXDC, le vice-président de Motiff a présenté le premier grand modèle d'interface utilisateur en Chine - Modèle Motiff)

Le modèle Motiff possède d'excellentes capacités de compréhension de l'interface utilisateur et la capacité d'exécuter des instructions ouvertes. Dans cinq benchmarks de capacités d'interface utilisateur reconnus par l'industrie, tous les indicateurs du modèle Motiff ont dépassé GPT-4o et l'interface utilisateur Ferret d'Apple. Il a également dépassé ScreenAI de Google en termes d'indicateurs, l'indicateur de sous-titrage de widget atteignant 161,77, rafraîchissant SoTA. Comparé aux solutions existantes telles que Ferret UI et ScreenAI, le grand modèle de Motiff peut comprendre de manière flexible les éléments d'interface en fonction du contexte, atteignant le niveau des « experts en conception » et est le plus proche de la compréhension et de l'expression humaines des interfaces d'interface utilisateur.

(Dans la revue faisant autorité de l'index de l'interface utilisateur, tous les indicateurs du grand modèle de Motiff dépassent GPT-4o et Ferret UI)

Le grand modèle qui comprend le mieux l'interface utilisateur, son expression est très proche de celle des humains, et il sera la pierre angulaire de la future révolution de l'interaction avec les interfaces

Lors de la conférence IXDC, le vice-président de Motiff, Zhang Haoran, a présenté en détail le modèle Motiff. Il possède les deux capacités de compréhension des interfaces utilisateur et de navigation interactive, et devrait diriger la révolution de l'interaction avec les interfaces. . "La création humaine commence par la cognition et la compréhension, et la création d'interface utilisateur à l'ère de l'IA commencera également par une compréhension complète de l'interface utilisateur à partir de grands modèles", a déclaré Zhang Haoran. L'excellente maquette de

Motiff est aussi bonne qu'un « expert en conception » dans la compréhension des interfaces utilisateur. Il peut non seulement identifier toutes les images, icônes, textes et plus de 40 composants d'interface utilisateur à granularité fine dans l'interface, mais également marquer avec précision les coordonnées régionales des différents éléments de l'interface. De plus, il peut répondre à diverses questions liées à l'interface utilisateur, faire des inférences fonctionnelles basées sur les informations de l'interface et décrire le contenu de l'interface en détail.

Par rapport aux grands modèles tels que GPT-4o, Ferret UI et ScreenAI, le grand modèle Motiff présente également des avantages significatifs en termes de capacités d'analyse d'interface. Par exemple, dans l'interface de l'application APP Store, le modèle Motiff peut diviser la page en plusieurs modules tels que la barre de navigation supérieure et le module d'informations sur l'application du point de vue de la conception de l'interface utilisateur, et analyser en détail la fonction et la disposition de chaque module, ce qui aide pour fournir des suggestions de conception, générer automatiquement des prototypes de conception d'interface utilisateur, etc. Motiff est leader du secteur en termes de capacités d'analyse d'interface et constitue le modèle multimodal qui comprend le mieux la conception de l'interface utilisateur.

(Le modèle Motiff peut répondre à une variété de questions sur l'interface utilisateur)

Le modèle Motiff est également le plus proche des humains en termes de capacités de compréhension et d'expression. Les solutions précédentes (telles que Ferret UI et ScreenAI) avaient du mal à comprendre la signification des icônes en fonction du contexte. Le grand modèle de Motiff collectait une grande quantité de données de champ d'interface utilisateur de haute qualité via des annotations manuelles et d'autres méthodes, et pouvait comprendre et souligner les multiples. utilisations de la même icône dans différentes interfaces, améliorant considérablement la précision et la pertinence contextuelle de la description.

(Les données de la figure 1 ont été générées par Google ScreenAI, qui a mal compris l'icône en forme de cœur comme « cœur » au lieu de « collection » ; les données des figures 2, 3 et 4 ont été générées par Motiff modèle, qui peut être combiné avec les informations d'interface. Décrire avec précision la signification de l'icône)

.

Motiff dispose également de capacités de navigation interactives, qui peuvent proposer des étapes de fonctionnement en fonction des besoins de l'utilisateur et effectuer les opérations pertinentes au nom de l'utilisateur après avoir obtenu l'autorisation. Cela pose les bases de la future révolution de l’interaction avec les interfaces. À l'avenir, les utilisateurs n'auront plus besoin de cliquer manuellement sur l'écran, mais n'auront besoin que d'une saisie vocale ou d'image pour faire fonctionner l'appareil. Les assistants mobiles tels que Siri pourraient devenir la nouvelle porte d'entrée de toutes les applications et ordinateurs réels. ceci, ouvrant la voie à un nouveau paradigme d'applications logicielles et à une nouvelle ère d'interaction avec les interfaces, s'ouvrira également en conséquence.

De plus, le modèle Motiff a également réussi à contrôler le taux d'erreur à un chiffre. L'opinion de l'industrie estime que la forte baisse des taux d'erreur marque l'évolution de l'IA d'un outil auxiliaire à une « singularité technique » où elle peut accomplir son travail de manière indépendante. Actuellement, l'un des principaux problèmes rencontrés par les grands modèles est le taux d'erreur élevé. Par exemple, GPT-4 a un taux d'erreur de 30 à 40 % sur plusieurs indicateurs, et le taux d'erreur dépasse même 70 % dans le domaine de l'interface utilisateur. En revanche, le grand modèle Motiff réduit le taux d'erreur à moins de 15 %, et le taux d'erreur des indicateurs individuels n'est que de 7 %.

Pourquoi les sociétés d'applications d'IA peuvent-elles développer de manière indépendante de grands modèles de premier plan ? Zhang Haoran a déclaré lors de la conférence que cela découlait de la recherche continue de « meilleurs produits ». « En tant que leader des produits d'IA, Motiff s'engage à éliminer les goulots d'étranglement techniques sur la base de scénarios d'application et à améliorer continuellement les exigences en matière de capacités d'IA », a-t-il déclaré.

La capacité de Motiff à « vaincre » les principaux modèles internationaux tels que GPT-4o et Ferret UI d'Apple dans le domaine de l'interface utilisateur bénéficie également de son accumulation technologique à long terme. Motiff se concentre sur l'interaction et la conception d'interfaces depuis sa création en 2021. Sa société mère, le groupe Yuanfudao, a créé un laboratoire d'IA axé sur l'exploration de pointe de la technologie de l'IA en 2014. En 2018, le groupe Yuanfudao a remporté le célèbre prix de lecture automatique. concours MSMAARCO Classé premier au monde, ses capacités de compréhension en lecture automatique avaient à l'époque dépassé Baidu et Microsoft.

AI Améliorer l'efficacité + générer pour créer le meilleur assistant pour les concepteurs, optimiser le flux de travail de développement logiciel

mill Il ne fait aucun doute que la sortie du modèle Motiff marque le moment GPT dans le domaine de la conception d'interfaces. La conception de l'interface utilisateur nécessite un traitement précis des éléments visuels et une compréhension approfondie de la logique d'interaction de l'utilisateur. Le modèle Motiff améliore considérablement l'efficacité et les capacités de génération des outils de conception.

Dans la fonction d'interface utilisateur générée par l'IA de Motiff, les utilisateurs n'ont qu'à saisir une commande, et en moins de 30 secondes, Motiff peut générer deux versions du brouillon de conception. Selon de récentes évaluations aveugles réalisées par plus de 30 professionnels de l'industrie, les deux versions des ébauches de conception générées par Motiff sont meilleures que le précédent outil d'interface utilisateur de pointe de génération d'IA, Galileo AI. Après la sortie de cette fonctionnalité, il est rapidement devenu le leader du marché. Cet avantage découle directement des capacités professionnelles de l'interface utilisateur du grand modèle de Motiff. Il est rapporté que la fonction d'interface utilisateur générée par l'IA a été ouverte aux utilisateurs du monde entier le 17 août. Il vous suffit de créer un compte Motiff pour en profiter gratuitement.

(Entrez le même mot d'invite "Générer une page d'accueil de streaming vidéo similaire à Hulu", la précision et la richesse de l'effet généré de Motiff sont plus fortes que celui de Galileo AI.)

De plus, la précision de la reconnaissance des composants dans la fonctionnalité du système de conception AI a également été considérablement améliorée. Avec le support de grands modèles, les concepteurs peuvent réaliser un travail en quelques minutes seulement, ce qui prenait auparavant au moins des semaines. La fonction de copie AI peut reconnaître les images et la rédaction dans les brouillons de conception avec une précision de plus de 97 %.

"Motiff prévoit d'ouvrir ses capacités de grands modèles aux moyennes et grandes entreprises et de travailler avec les clients pour créer une nouvelle relation de production d'interfaces à l'ère de l'IA, a souligné Zhang Haoran lors de la réunion." Le grand modèle de Motiff aidera à optimiser le flux de travail de développement logiciel et à raccourcir efficacement le processus de production d'interface existant.

Motiff a déjà créé de nombreuses « premières » dans l'industrie de la conception d'interfaces. Non seulement il est le premier à créer plusieurs fonctions d'IA, mais il est également le premier logiciel de conception d'interface en Chine à développer un logiciel auto-développé. moteur de rendu graphique, et est le premier au monde. Le seul produit haute performance qui peut encore éditer en douceur avec 1 million de calques sur une seule toile. Motiff est connu comme la « version IA de Figma » sur les réseaux sociaux étrangers. Tout en améliorant la productivité de plus de 100 fois, le prix est plus de 80 % inférieur à celui de Figma. Il a été répertorié sur la célèbre plateforme de publication de produits Product Hunt's. Liste quotidienne et liste hebdomadaire des produits les plus populaires de juillet.

(Il y a beaucoup de messages comparant Motiff et Figma sur les plateformes sociales étrangères. Motiff est considéré comme un designer et tous les designers doivent je le sais. outils d'IA)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!