The first large UI model in China is released! Motiff's large model creates the best assistant for designers and optimizes UI design workflow

The development speed of artificial intelligence may be beyond your imagination. Since GPT-4 introduced multimodal technology into the public eye, multimodal large models have entered a stage of rapid development, gradually shifting from pure model research and development to exploration and application in vertical fields, and are deeply integrated with all walks of life. In the field of interface interaction, international technology giants such as Google and Apple have invested in the research and development of large multi-modal UI models, which is regarded as the only way forward for the mobile phone AI revolution.

In this context, the first large-scale UI model in China was born. On August 17, at the IXDC2024 International Experience Design Conference, Motiff, a design tool in the AI ​​era, launched its independently developed UI multi-modal model - Motiff Model. This is the world's first large-scale model developed by a UI design tool company, marking the rise of China's UI design power on the global stage.

(At the IXDC conference, Vice President of Motiff introduced the first domestic UI large model - Motiff Miao large model) #🎜 🎜#

Motiff has excellent UI understanding and the ability to execute open instructions. In five industry-recognized UI capability benchmarks, all indicators of the Motiff model exceeded GPT-4o and Apple's Ferret UI. It also surpassed Google's ScreenAI in terms of indicators, with the Widget Captioning indicator reaching 161.77, refreshing SoTA. Compared with existing solutions such as Ferret UI and ScreenAI, Motiff's large model can flexibly understand interface elements based on context, reaching the level of "design experts" and is closest to human understanding and expression of UI interfaces.

(In the authoritative UI indicator review, all indicators of the Motiff Miaoda model exceeded GPT-4o and Ferret UI) #🎜🎜 #

The large model that best understands UI, the expression is highly close to humans, the cornerstone of the future interface interaction revolution

At the IXDC conference, Motiff wonderful Multiple Vice President Zhang Haoran introduced the Motiff model in detail. It has the two capabilities of understanding user interfaces and interactive navigation, and is expected to lead the interface interaction revolution. "Human creation starts with cognition and understanding, and UI creation in the AI ​​era will also start with fully understanding the user interface from large models." Zhang Haoran said.

Motiff is as good at understanding user interfaces as a "design expert". It can not only identify all pictures, icons, text and more than 40 fine-grained UI components in the interface, but also accurately mark the regional coordinates of different elements on the interface. In addition, it can answer various questions related to the user interface, make functional inferences based on the interface information, and describe the interface content in detail.

Compared with large models such as GPT-4o, Ferret UI and ScreenAI, the Motiff large model also has significant advantages in interface analysis capabilities. For example, in the APP Store application interface, the Motiff model can divide the page into multiple modules such as the top navigation bar and application information module from a UI design perspective, and analyze the function and layout of each module in detail, which helps to provide Design suggestions, automatically generate UI design prototypes, etc. Motiff leads the industry in interface analysis capabilities and is the multi-modal model that understands UI design best.

(Motiff Miao big model can answer various questions about the UI interface)

# 🎜🎜#Motiff The Miao Da model is also the closest to humans in terms of understanding and expression capabilities. Previous solutions (such as Ferret UI and ScreenAI) had difficulty understanding the meaning of icons based on context. Motiff's large model collected a large amount of high-quality UI field data through manual annotation and other methods, and could understand and point out the multiple uses of the same icon in different interfaces. meaning, significantly improving the accuracy and contextual relevance of the description.

(Figure 1 data was generated by Google ScreenAI, which misunderstood the heart-shaped icon as "heart" instead of "collection"; The data in Figures 2, 3, and 4 are generated by the Motiff model, which can accurately describe the meaning of the icons based on the interface information)

Motiff verfügt außerdem über interaktive Navigationsfunktionen, die entsprechend den Benutzeranforderungen Bedienschritte anstoßen und nach Einholung der Genehmigung relevante Vorgänge im Namen des Benutzers ausführen können. Dies legt den Grundstein für die zukünftige Revolution der Schnittstelleninteraktion. In Zukunft müssen Benutzer nicht mehr manuell auf den Bildschirm klicken, sondern benötigen nur noch Sprach- oder Bildeingaben, um das Gerät zu bedienen. Mobile Assistenten wie Siri werden möglicherweise zum neuen Zugang zu allen Apps Damit wird auch ein neues Paradigma für Softwareanwendungen und eine neue Ära der Schnittstelleninteraktion eingeläutet.

Darüber hinaus konnte das Motiff-Modell auch die Fehlerrate erfolgreich im einstelligen Bereich kontrollieren. Die Branchenmeinung geht davon aus, dass der starke Rückgang der Fehlerraten den Fortschritt der KI von einem Hilfswerkzeug zu einer „technischen Singularität“ markiert, mit der sie Arbeiten selbstständig erledigen kann. Eines der Kernprobleme großer Modelle ist derzeit die hohe Fehlerquote. Beispielsweise liegt die Fehlerquote bei GPT-4 bei mehreren Indikatoren bei über 70 %. Im Gegensatz dazu reduziert das Motiff-Großmodell die Fehlerquote auf weniger als 15 %, und die Fehlerquote einzelner Indikatoren beträgt nur 7 %.

Warum können KI-Anwendungsunternehmen unabhängig voneinander weltweit führende große Modelle entwickeln? Zhang Haoran sagte auf der Konferenz, dass dies auf das kontinuierliche Streben nach „besseren Produkten“ zurückzuführen sei. „Als führender Anbieter von KI-Produkten ist Motiff bestrebt, technische Engpässe auf der Grundlage von Anwendungsszenarien zu überwinden und die Anforderungen an KI-Funktionen kontinuierlich zu verbessern“, sagte er.

Motiffs Fähigkeit, führende internationale Modelle wie GPT-4o und Apples Ferret UI im UI-Bereich zu „besiegen“, profitiert auch von seiner langfristigen Technologieakkumulation. Motiff konzentriert sich seit seiner Gründung im Jahr 2021 auf Schnittstelleninteraktion und -design. Seine Muttergesellschaft, die Yuanfudao Group, gründete 2014 ein KI-Labor, das sich auf die hochmoderne Erforschung der KI-Technologie konzentriert. Im Jahr 2018 gewann die Yuanfudao Group den bekannten Preis für maschinelles Lesen Mit seinen Fähigkeiten zum maschinellen Leseverständnis hatte MSMAARCO damals weltweit den ersten Platz belegt und Baidu und Microsoft übertroffen.

AI Effizienz verbessern + generieren, um den besten Assistenten für Designer zu erstellen, Softwareentwicklungs-Workflow optimieren

mill Es besteht kein Zweifel, dass die Veröffentlichung des Motiff-Modells den GPT-Moment im Bereich Interface-Design markiert. Das UI-Design erfordert eine präzise Verarbeitung visueller Elemente und ein tiefes Verständnis der Benutzerinteraktionslogik. Das Motiff-Modell verbessert die Effizienz und Generierungsfähigkeiten von Designtools erheblich.

In der KI-generierten UI-Funktion von Motiff müssen Benutzer nur einen Befehl eingeben und in weniger als 30 Sekunden kann Motiff zwei Versionen des Designentwurfs generieren. Laut aktuellen Blindbewertungen von mehr als 30 Branchenexperten sind beide Versionen der von Motiff generierten Designentwürfe besser als das bisher führende UI-Tool der KI-Generation Galileo AI. Nach der Veröffentlichung dieser Funktion wurde es schnell zum Marktführer. Dieser Vorteil ergibt sich direkt aus den professionellen UI-Fähigkeiten des großen Motiff-Modells. Es wird berichtet, dass die KI-generierte UI-Funktion am 17. August für globale Benutzer geöffnet wurde. Sie müssen lediglich ein Motiff-Konto registrieren, um sie kostenlos nutzen zu können.

(Geben Sie das gleiche Eingabeaufforderungswort „Generieren Sie eine Video-Streaming-Homepage ähnlich wie Hulu“ ein. Die Genauigkeit und Reichhaltigkeit des generierten Effekts von Motiff ist stärker als die von Galileo AI.)

Darüber hinaus wurde auch die Komponentenerkennungsgenauigkeit in der Funktionalität des KI-Designsystems erheblich verbessert. Mit der Unterstützung großer Modelle können Designer Arbeiten in nur wenigen Minuten erledigen, die früher mindestens Wochen dauerten. Die KI-Kopierfunktion kann Bilder und Text in Designentwürfen mit einer Genauigkeit von über 97 % erkennen.

„Motiff plant, seine großen Modellkapazitäten für mittlere und große Unternehmen zu öffnen und mit Kunden zusammenzuarbeiten, um eine neue Schnittstellenproduktionsbeziehung im KI-Zeitalter aufzubauen.“ Das große Modell von Motiff wird dazu beitragen, den Softwareentwicklungs-Workflow zu optimieren und den bestehenden Schnittstellenproduktionsprozess effektiv zu verkürzen.

Motiff hat bereits viele „Neuheiten“ in der Interface-Design-Branche geschaffen. Es ist nicht nur das erste Unternehmen, das mehrere KI-Funktionen erstellt hat, sondern auch die erste Interface-Design-Software in China, die eine selbst entwickelte Software entwickelt hat Grafik-Rendering-Engine und ist das weltweit erste Hochleistungsprodukt, das mit 1 Million Ebenen auf einer einzigen Leinwand noch reibungslos bearbeiten kann. Motiff ist in den sozialen Medien in Übersee als „KI-Version von Figma“ bekannt, obwohl es die Produktivität um mehr als 100 % verbessert und auf der bekannten Produktveröffentlichungsplattform Product Hunt gelistet ist Tagesliste und Wochenliste mit den beliebtesten Produkten im Juli. Die Nummer eins auf der Liste.

(Es gibt viele Beiträge, in denen Motiff und Figma auf sozialen Plattformen im Ausland verglichen werden. Motiff gilt als Designer und das müssen alle Designer tun weiß davon. KI-Tools )

The above is the detailed content of The first large UI model in China is released! Motiff's large model creates the best assistant for designers and optimizes UI design workflow. For more information, please follow other related articles on the PHP Chinese website!