人工智慧的發展速度可能超乎你的想像。自從GPT-4將多模態技術引入公眾視野以來,多模態大模型進入快速發展階段,逐漸從單純的模型研發轉向垂直領域的探索與應用,與各行各業深度融合。在介面互動領域,Google、蘋果等國際科技巨頭紛紛投入UI多模態大模型研發,這被視為手機AI革命的必經之路。
在此背景下,國內首個UI大模型橫空出世。 8月17日,在IXDC2024國際體驗設計大會上,AI時代設計工具Motiff妙多推出了其自主研發的UI多模態大模型-Motiff妙多大模式。這是全球首個由UI設計工具企業研發的大模型,標誌著中國UI設計力量在全球舞台上的崛起。
(IXDC大會現場,Motiff妙多副總裁介紹國內首個UI大模型-Motiff妙多大模型)
Motiff妙多大模式具備優秀的UI理解能力和執行開放式指令的能力。在五個行業公認的UI能力基準測試集中,Motiff妙多大模型的各項指標均超過了GPT-4o和蘋果的Ferret UI,同時在Screen2Words(界面描述與推斷)和Widget Captioning(部件描述)兩大指標上也超越了Google的ScreenAI,其中Widget Captioning指標高達161.77,刷新SoTA。與Ferret UI、ScreenAI等現有解決方案相比,Motiff妙多大模型能靈活地根據上下文理解介面元素,達到「設計專家」水平,最接近人類對UI介面的理解和表達結果。
(權威UI指標橫評中,Motiff妙多大模型所有指標都超過GPT-4o和Ferret UI)
最懂UI的大模型、表達高度接近人類,未來介面互動革命的基石
在IXDC大會上,Motiff妙多副總裁張昊然詳細介紹了Motiff妙多大模型,它具備理解使用者介面和互動導覽兩大能力,可望引領介面互動革命。 「人類的創造從認知和理解開始,AI 時代的 UI 創作也將從大模型充分理解使用者介面開始。」張昊然說。
Motiff妙多大模型在理解使用者介面方面表現卓越,堪比「設計專家」。它不僅能辨識介面中所有的圖片、圖示、文字和40多種細粒度UI元件,還能精確標註介面上不同元素的區域座標。此外,它還能夠回答與使用者介面相關的各種問題,並根據介面資訊進行功能推斷、詳細描述介面內容。
相較於GPT-4o、Ferret UI和ScreenAI等大模型,Motiff妙多大模型在介面分析能力上也有顯著優勢。例如,在APP Store應用程式介面中,Motiff妙多大模型能以UI設計視角將頁面分為頂部導覽列、應用資訊模組等多個模組,並詳細分析每個模組的功能和佈局,有助於提供設計建議、自動產生UI設計原型等。 Motiff妙多在介面分析能力上處於業界領先水平,是最懂UI設計的多模態大模型。
(Motiff妙多大模型能回答各種有關UI介面的問題)
MotiffHyo模型在理解和表達能力上也最接近人類。先前的解決方案(如Ferret UI 和ScreenAI)難以根據上下文理解圖標的含義,Motiff妙多大模型透過人工標註等方式收集了大量高品質的UI 領域數據,能理解並指出同一圖標在不同介面中的多種意義,顯著提升了描述的準確度和情境相關性。
(圖1資料由GoogleScreenAI生成,將心形圖示錯誤地理解為「心」而非「收藏」;圖2、3、4數據由Motiff妙多大模型生成,能結合介面資訊準確描述圖示意義。 Motiff妙多大模型也具備互動導覽能力,可依使用者需求提示操作步驟,並在取得許可後替代使用者完成相關操作。這為未來的介面互動革命奠定了基礎。未來,用戶無需手動點擊螢幕,只需語音或影像輸入即可操作設備,Siri等手機助理可能成為所有App的新入口,真正的智慧型手機和電腦將由此誕生,軟體應用新範式和介面互動新時代也將隨之開啟。 此外,Motiff妙多大模型也成功將錯誤率控制在個位數內。業內觀點認為,錯誤率的大幅下降標誌著AI從輔助工具向獨立完成工作的「技術奇點」邁進。目前,大模型面臨的核心問題之一是較高的錯誤率,如GPT-4在多個指標上有30%至40%的錯誤率,在UI領域錯誤率甚至超過70%。相較之下,Motiff妙多大模型將錯誤率降低到15%以下,個別指標錯誤率僅7%。 為何AI應用企業能自主研發出全球領先的大模型?張昊然在大會上稱,這源自於對「產品做得更好」的持續追求。 「Motiff妙多作為AI產品引領者,致力於從應用場景出發突破技術瓶頸,並不斷提升對AI能力的要求。」他說。 Motiff妙多能在UI領域「打敗」GPT-4o、蘋果Ferret UI等國際領先大模型,也得益於其長期的技術累積。 Motiff妙多自2021年成立以來一直專注於介面互動與設計,其母公司猿輔導集團2014年就成立了專注於AI技術前沿探索的AI Lab,2018年猿輔導集團在知名機器閱讀比賽MSMARCO中就名列全球第一,當時的機器閱讀理解能力已經超越了百度和微軟。 AI提效+生成打造設計師最佳助手,優化軟體開發工作流程 毫無疑問, Motiff妙多大模型的發布標誌著介面設計領域迎來GPT時刻。 UI 設計需要對視覺元素的精確處理和對使用者互動邏輯的深度理解,Motiff妙多大模型顯著提升了設計工具的效率和生成能力。 在Motiff妙多的AI生成UI功能中,使用者只要輸入一段指令,不到30秒,Motiff妙多就能產生兩版設計稿。根據近期30多位業界人士的盲評,Motiff妙多產生的兩版設計稿均優於先前領先的AI生成UI工具Galileo AI。該功能發布後迅速成為市場上的領導者,這一優勢直接源於Motiff妙多大模型的UI專業能力。據悉,AI生成UI功能已於8月17日對全球用戶開放,只需註冊Motiff妙多帳號即可免費體驗。 (輸入同樣的提示詞“生成類似hulu的視頻流主頁”,Motiff妙多生成效果的準確性、豐富度強於Galileo AI。)
以上是國內首個UI大模型出爐! Motiff妙多大模型打造設計師最佳助手、優化UI設計工作流程的詳細內容。更多資訊請關注PHP中文網其他相關文章!