搜索
首页科技周边人工智能清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?

清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail-Adresse für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Das Team beschäftigt sich seit langem mit den aktuellen Engpassproblemen in der Entwicklung künstlicher Intelligenz, erforscht ursprüngliche Theorien und Schlüsseltechnologien der künstlichen Intelligenz und ist international führend in der Forschung zu kontradiktorischen Sicherheitstheorien und Methoden intelligenter Algorithmen. Es wurden auch eingehende Untersuchungen zur kontradiktorischen Robustheit und Wirksamkeit von Deep Learning durchgeführt. Grundlegende häufige Probleme wie die Effizienz der Datennutzung. Relevante Arbeiten gewannen den ersten Preis des Wu Wenjun Artificial Intelligence Natural Science Award, veröffentlichten mehr als 100 CCF-Klasse-A-Artikel und entwickelten die Open-Source-Plattform für Gegenangriffsangriffe und Verteidigungsalgorithmen ARES (https://github.com/thu-ml/ares). und einige patentierte Produkte realisiert. Lernen und Forschung in die praktische Anwendung umsetzen.

Multimodale große Sprachmodelle (MLLMs), die durch GPT-4o repräsentiert werden, haben aufgrund ihrer hervorragenden Leistung in mehreren Modalitäten wie Sprache und Bildern viel Aufmerksamkeit erregt. Sie sind nicht nur zu den rechten Assistenten des Anwenders bei der täglichen Arbeit geworden, sondern sind auch nach und nach in wichtige Anwendungsbereiche wie autonomes Fahren und medizinische Diagnose vorgedrungen und haben eine technologische Revolution ausgelöst.
Sind multimodale Großmodelle jedoch sicher und zuverlässig?

                                                                                                                                                                  

清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?Wie in Abbildung 1 gezeigt, wird GPT-4o durch die Modifizierung der Bildpixel durch gegnerische Angriffe die Schwanzlöwenstatue fälschlicherweise als Eiffelturm in Paris oder Big Ben in London identifiziert . Der Inhalt solcher Fehlerziele kann beliebig angepasst werden, auch über die sicheren Grenzen der Modellanwendung hinaus.

                                                                                                                                                               
而在越獄攻擊場景下,雖然Claude成功拒絕了文字形式下的惡意請求,但當使用者額外輸入一張純色無關圖片時,模型按照使用者要求輸出了虛假新聞。這意味著多模態大模型相比大語言模型,有更多的風險挑戰。

除了這兩個例子以外,多模態大模型還存在幻覺、偏見、隱私洩漏等各類安全威脅或社會風險,會嚴重影響它們在實際應用中的可靠性和可信度。這些漏洞問題到底是偶然發生,還是普遍存在?不同多模態大模型的可信性又有何區別,來源何處?

近日,來自清華、北航、上交和瑞萊智慧的研究人員聯合撰寫百頁長文,發布名為MultiTrust的綜合基準,首次從多個維度和視角全面評估了主流多模態大模型的可信度,展示了其中多個潛在安全風險,啟發多模態大模型的下一步發展。
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
  • 論文標題:Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study
  • 論文連結:https://arxiviv.org/pdf/17507575072037250302330203023023030373字:標. multi-trust.github.io/
  • 程式碼倉庫:https://github.com/thu-ml/MMTrustEval
  • 程式碼倉庫:https://github.com/thu-ml/MMTrustEval

的大模型評估工作中,MultiTrust提煉出了五個可信評價維度-事實性(Truthfulness)、安全性(Safety)、穩健性(Robustness)、公平性(Fairness)、隱私保護(Privacy),並進行二級分類,有針對性地建構了任務、指標、資料集來提供全面的評估。

                               個可信評價子維度,MultiTrust建構了32個多樣的任務場景,涵蓋了判別和生成任務,跨越了純文本任務和多模態任務。任務對應的資料集不僅基於公開的文字或影像資料集進行改造和適配,還透過人工收集或演算法合成建構了部分更為複雜和具有挑戰性的資料。

清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?

                               
與大語言模型(LLMs)的可信評價不同,MLLM的多模態特徵帶來了更多樣化、更複雜的風險場景和可能。為了更好地進行系統性評估,MultiTrust基準不僅從傳統的行為評估維度出發,更創新地引入了多模態風險和跨模態影響這兩個評價視角,全面涵蓋新模態帶來的新問題新挑戰。

                                示意性
具體地,多模態風險指的是多模態場景中帶來的新風險,例如模型在處理視覺誤導訊息時可能出現的錯誤回答,以及在涉及安全問題的多模態推理中出現誤判。儘管模型可以正確識別圖中的酒水,但在進一步的推理中,部分模型並不能意識到其與頭孢藥物共用的潛在風險。
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
                                   图7 模型在涉及安全问题的推理中出现误判

跨模态影响则指新模态的加入对原有模态可信度的影响,例如无关图像的输入可能会改变大语言模型骨干网络在纯文本场景中的可信行为,导致更多不可预测的安全风险。在大语言模型可信性评估常用的越狱攻击和上下文隐私泄漏任务中,如果提供给模型一张与文本无关的图片,原本的安全行为就可能被破坏(如图2)。
 
结果分析和关键结论
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
                               图8 实时更新的可信度榜单(部分)

研究人员维护了一个定期更新的多模态大模型可信度榜单,已经加入了GPT-4o、Claude3.5等最新的模型,整体来看,闭源商用模型相比主流开源模型更为安全可靠。其中,OpenAI的GPT-4和Anthropic的Claude的可信性排名最靠前,而加入安全对齐的Microsoft Phi-3则在开源模型中排名最高,但仍与闭源模型有一定的差距。

GPT-4、Claude、Gemini等商用模型针对安全可信已经做过许多加固技术,但仍然存在部分安全可信风险。例如,他们仍然对对抗攻击、多模态越狱攻击等展现出了脆弱性,极大地干扰了用户的使用体验和信任程度。
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
                                                             图9 Gemini在多模态越狱攻击下输出风险内容

尽管许多开源模型在主流通用榜单上的分数已经与GPT-4相当甚至更优,但在可信层面的测试中,这些模型还是展现出了不同方面的弱点和漏洞。例如在训练阶段对通用能力(如OCR)的重视,使得将越狱文本、敏感信息嵌入图像输入成为更具威胁的风险来源。
 
基于跨模态影响的实验结果,作者发现多模态训练和推理会削弱大语言模型的安全对齐机制。许多多模态大模型会采用对齐过的大语言模型作为骨干网络,并在多模态训练过程中进行微调。结果表明,这些模型依然展现出较大的安全漏洞和可信风险。同时,在多个纯文本的可信评估任务上,在推理时引入图像也会对模型的可信行为带去影响和干扰。

清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?

后 Une fois l'image introduite dans la figure 10, le modèle est plus enclin à divulguer le contenu de confidentialité dans le texte. Des expériences ont montré que la crédibilité des modèles multimodes et grands est liée à sa capacité générale, mais il existe encore des différences. dans la performance du modèle dans différentes dimensions d’évaluation de la crédibilité. Les algorithmes multimodaux actuellement courants liés aux grands modèles, tels que le réglage fin des ensembles de données générés à l'aide de GPT-4V, RLHF pour les hallucinations, etc., ne suffisent pas à améliorer pleinement la crédibilité du modèle. Les conclusions existantes montrent également que les grands modèles multimodaux présentent des défis uniques, différents des grands modèles de langage, et que des algorithmes innovants et efficaces sont nécessaires pour une amélioration ultérieure.
Voir le document pour les résultats et analyses détaillés.

Orientations futures

Les résultats de la recherche indiquent que l'amélioration de la crédibilité des grands modèles multimodaux nécessite une attention particulière de la part des chercheurs. En s'appuyant sur de grandes solutions d'alignement de modèles de langage, des données et des scénarios de formation diversifiés, ainsi que des paradigmes tels que la génération améliorée de récupération (RAG) et l'IA constitutionnelle (IA constitutionnelle), peuvent contribuer à une amélioration dans une certaine mesure. Mais l’amélioration de la crédibilité des grands modèles multimodaux va au-delà. L’alignement entre les modalités et la robustesse des encodeurs visuels sont également des facteurs d’influence clés. En outre, l’amélioration des performances des modèles dans des applications pratiques grâce à une évaluation et une optimisation continues dans des environnements dynamiques constitue également une orientation importante pour l’avenir.
Avec la sortie du benchmark MultiTrust, l'équipe de recherche a également publié la boîte à outils d'évaluation de la fiabilité des grands modèles multimodaux MMTrustEval. Ses caractéristiques d'intégration de modèles et de modularité d'évaluation fournissent des informations importantes pour la recherche de crédibilité des grands modèles multimodaux. . Sur la base de ce travail et de cette boîte à outils, l’équipe a organisé un concours multimodal de données et d’algorithmes liés à la sécurité des grands modèles [1,2] pour promouvoir une recherche fiable sur les grands modèles. À l’avenir, avec les progrès technologiques continus, les grands modèles multimodaux montreront leur potentiel dans davantage de domaines, mais la question de leur crédibilité nécessite encore une attention continue et des recherches approfondies.

Lien de référence :

[1] CCDM2024 Multimodal Large Language Model Red Team Security Challenge http://116.112.3.114:8081/sfds-v1-html/main
[2] Le 3ème Concours d'algorithmes de Pazhou - Technologie de renforcement de la sécurité des algorithmes multimodaux à grand modèle https://iacc.pazhoulab-huangpu.com/contestdetail?id=668de7357ff47da8cc88c7b8&award=1,000,000

以上是清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
Gemma范围:Google'用于凝视AI的显微镜Gemma范围:Google'用于凝视AI的显微镜Apr 17, 2025 am 11:55 AM

使用Gemma范围探索语言模型的内部工作 了解AI语言模型的复杂性是一个重大挑战。 Google发布的Gemma Scope是一种综合工具包,为研究人员提供了一种强大的探索方式

谁是商业智能分析师以及如何成为一位?谁是商业智能分析师以及如何成为一位?Apr 17, 2025 am 11:44 AM

解锁业务成功:成为商业智能分析师的指南 想象一下,将原始数据转换为驱动组织增长的可行见解。 这是商业智能(BI)分析师的力量 - 在GU中的关键作用

如何在SQL中添加列? - 分析Vidhya如何在SQL中添加列? - 分析VidhyaApr 17, 2025 am 11:43 AM

SQL的Alter表语句:动态地将列添加到数据库 在数据管理中,SQL的适应性至关重要。 需要即时调整数据库结构吗? Alter表语句是您的解决方案。本指南的详细信息添加了Colu

业务分析师与数据分析师业务分析师与数据分析师Apr 17, 2025 am 11:38 AM

介绍 想象一个繁华的办公室,两名专业人员在一个关键项目中合作。 业务分析师专注于公司的目标,确定改进领域,并确保与市场趋势保持战略一致。 simu

什么是Excel中的Count和Counta? - 分析Vidhya什么是Excel中的Count和Counta? - 分析VidhyaApr 17, 2025 am 11:34 AM

Excel 数据计数与分析:COUNT 和 COUNTA 函数详解 精确的数据计数和分析在 Excel 中至关重要,尤其是在处理大型数据集时。Excel 提供了多种函数来实现此目的,其中 COUNT 和 COUNTA 函数是用于在不同条件下统计单元格数量的关键工具。虽然这两个函数都用于计数单元格,但它们的设计目标却针对不同的数据类型。让我们深入了解 COUNT 和 COUNTA 函数的具体细节,突出它们独特的特性和区别,并学习如何在数据分析中应用它们。 要点概述 理解 COUNT 和 COU

Chrome在这里与AI:每天都有新事物!Chrome在这里与AI:每天都有新事物!Apr 17, 2025 am 11:29 AM

Google Chrome的AI Revolution:个性化和高效的浏览体验 人工智能(AI)正在迅速改变我们的日常生活,而Google Chrome正在领导网络浏览领域的负责人。 本文探讨了兴奋

AI的人类方面:福祉和四人底线AI的人类方面:福祉和四人底线Apr 17, 2025 am 11:28 AM

重新构想影响:四倍的底线 长期以来,对话一直以狭义的AI影响来控制,主要集中在利润的最低点上。但是,更全面的方法认识到BU的相互联系

您应该知道的5个改变游戏规则的量子计算用例您应该知道的5个改变游戏规则的量子计算用例Apr 17, 2025 am 11:24 AM

事情正稳步发展。投资投入量子服务提供商和初创企业表明,行业了解其意义。而且,越来越多的现实用例正在出现以证明其价值超出

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
1 个月前By尊渡假赌尊渡假赌尊渡假赌
威尔R.E.P.O.有交叉游戏吗?
1 个月前By尊渡假赌尊渡假赌尊渡假赌

热工具

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版