搜索
首页科技周边人工智能打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

多年来,我们一直无法理解人工智能是如何做出决策和产生输出的

模型开发人员只能决定算法、数据,最后得到模型的输出结果,而中间部分——模型是怎么根据这些算法和数据输出结果,就成为了不可见的「黑箱」。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

所以就出现了「模型的训练就像炼丹」这样的戏言。

但现在,模型黑箱终于有了可解释性!

来自Anthropic的研究团队提取了模型的神经网络中最基本的单位神经元的可解释特征。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

这将是人类揭开AI黑箱的里程碑式的一步。

Anthropic充满激动地表示:

「如果我们能够理解模型中的神经网络是如何工作的,那么诊断模型的故障模式、设计修复程序,并让模型安全地被企业和社会采用就将成为触手可及的现实!」

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

在Anthropic的最新研究报告《走向单语义性:用字典学习分解语言模型》中,研究人员使用字典学习的方法,成功地将包含512个神经元的层分解成了4000多个可解释的特征

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

研究报告地址:https://transformer-circuits.pub/2023/monosemantic-features/index.html

这些特征分别代表了DNA序列、法律语言、HTTP请求、希伯来文本和营养成分说明等

当我们孤立地观察单个神经元的激活时,我们无法看到这些模型属性中的大部分

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

大多数神经元都是「多语义」的,这意味着单个神经元与网络行为之间没有一致的对应关系

例如,在一个小型语言模型中,单个神经元在许多不相关的上下文中都很活跃,包括:学术引文、英语对话、HTTP 请求和韩语文本。

而在经典视觉模型中,单个神经元会对猫的脸和汽车的前脸做出反应。

在不同的语境中,许多研究都证明了一个神经元的激活可能具有不同的含义

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

一个潜在的原因是神经元的多语义性是由于叠加效应。这是一种假设的现象,即神经网络通过为每个特征分配自己的神经元线性组合来表示数据的独立特征,而这种特征的数量超过了神经元的数量

如果将每个特征视为神经元上的一个向量,那么特征集就构成了网络神经元激活的一个过完备线性基础。

在Anthropic之前的Toy Models of Superposition(《叠加玩具模型》)论文中,证明了稀疏性在神经网络训练中可以消除歧义,帮助模型更好地理解特征之间的关系,从而减少激活向量的来源特征的不确定性,使模型的预测和决策更可靠。

这一概念类似于压缩感知中的思想,其中信号的稀疏性允许从有限的观测中还原出完整的信号。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

但在Toy Models of Superposition中提出的三种策略中:

(1)创建没有叠加的模型,或许可以鼓励激活稀疏性;

(2)在展现出叠加态的模型中,采用字典学习来寻找过完备特征

(3)依赖于两者结合的混合方法。

需要进行改写的内容是:方法(1)无法解决多义性问题,而方法(2)则容易出现严重的过拟合情况

因此,这次Anthropic的研究人员使用了一种称为稀疏自动编码器的弱字典学习算法,从经过训练的模型中生成学习到的特征,这些特征提供了比模型神经元本身更单一的语义分析单位。

具体来说,研究人员采用了具有512个神经元的MLP单层transformer,并通过从80亿个数据点的MLP激活上训练稀疏自动编码器,最终将MLP激活分解为相对可解释的特征,扩展因子范围从1×(512个特征)到256×(131,072个特征)。

为了验证本研究发现的特征比模型的神经元更具可解释性,我们进行了盲审评估,让一位人类评估员对它们的可解释性进行评分

可以看到,特征(红色)的得分比神经元(青色)高得多。

研究人员发现的特征相对于模型内部的神经元来说更易于理解,这一点已经得到证明

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

此外,研究人员还采用了「自动解释性」方法,通过使用大型语言模型生成小型模型特征的简短描述,并让另一个模型根据该描述预测特征激活的能力对其进行评分。

同样,特征得分高于神经元,证明了特征的激活及其对模型行为的下游影响具有一致的解释。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

并且,这些提取出的特征还提供了一种有针对性的方法来引导模型。

如下图所示,人为激活特征会导致模型行为以可预测的方式更改。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

以下是提取出的可解释性特征的可视化图:

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

点击左侧的特征列表,您可以与神经网络中的特征空间进行互动式探索

研究报告概要

这份来自Anthropic的研究报告,Towards Monosemanticity: Decomposing Language Models With Dictionary Learning,主要可以分为四个部分。

问题设置,研究人员介绍了研究动机,并阐述训练的transfomer和稀疏自动编码器。

单个特征详细调查,证明了研究发现的几个特征是功能上特定的因果单元。

通过全局分析,我们得出结论,典型特征是可以解释的,并且它们能够解释MLP层的重要组成部分

现象分析,描述了特征的几个属性,包括特征分割、普遍性,以及它们如何形成类似于「有限状态自动机」的系统来实现复杂的行为。

结论包括以下7个:

稀疏自动编码器具有提取相对单一的语义特征的能力

稀疏自编码器能够生成可解释的特征,而这些特征在神经元的基础中实际上是不可见的

3. 稀疏自动编码器特征可用于干预和引导变压器的生成。

4. 稀疏自编码器能生成相对通用的特征。

随着自动编码器大小的增加,特征有「分裂」的倾向。 重写后:随着自动编码器尺寸的增加,特征呈现出「分裂」的趋势

6. 只需512个神经元即可表示成千上万个特征

7. 这些特征通过连接在一起,类似于「有限状态自动机」的系统,实现了复杂的行为,如下图所示

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

具体详细内容可见报告。

Anthropic认为,要将本研究报告中小模型的成功复制到更大的模型上,我们今后面临的挑战将不再是科学问题,而是工程问题

为了在大型模型上实现解释性,需要在工程领域投入更多的努力和资源,以克服模型复杂性和规模带来的挑战

包括开发新的工具、技术和方法,以应对模型复杂性和数据规模的挑战;也包括构建可扩展的解释性框架和工具,以适应大规模模型的需求。

这将成为解释性人工智能和大规模深度学习研究领域的最新趋势

以上是打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
解读CRISP-ML(Q):机器学习生命周期流程解读CRISP-ML(Q):机器学习生命周期流程Apr 08, 2023 pm 01:21 PM

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

人工智能的环境成本和承诺人工智能的环境成本和承诺Apr 08, 2023 pm 04:31 PM

人工智能(AI)在流行文化和政治分析中经常以两种极端的形式出现。它要么代表着人类智慧与科技实力相结合的未来主义乌托邦的关键,要么是迈向反乌托邦式机器崛起的第一步。学者、企业家、甚至活动家在应用人工智能应对气候变化时都采用了同样的二元思维。科技行业对人工智能在创建一个新的技术乌托邦中所扮演的角色的单一关注,掩盖了人工智能可能加剧环境退化的方式,通常是直接伤害边缘人群的方式。为了在应对气候变化的过程中充分利用人工智能技术,同时承认其大量消耗能源,引领人工智能潮流的科技公司需要探索人工智能对环境影响的

找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PM

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

条形统计图用什么呈现数据条形统计图用什么呈现数据Jan 20, 2021 pm 03:31 PM

条形统计图用“直条”呈现数据。条形统计图是用一个单位长度表示一定的数量,根据数量的多少画成长短不同的直条,然后把这些直条按一定的顺序排列起来;从条形统计图中很容易看出各种数量的多少。条形统计图分为:单式条形统计图和复式条形统计图,前者只表示1个项目的数据,后者可以同时表示多个项目的数据。

自动驾驶车道线检测分类的虚拟-真实域适应方法自动驾驶车道线检测分类的虚拟-真实域适应方法Apr 08, 2023 pm 02:31 PM

arXiv论文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“,2022年5月,加拿大滑铁卢大学的工作。虽然自主驾驶的监督检测和分类框架需要大型标注数据集,但光照真实模拟环境生成的合成数据推动的无监督域适应(UDA,Unsupervised Domain Adaptation)方法则是低成本、耗时更少的解决方案。本文提出对抗性鉴别和生成(adversarial d

数据通信中的信道传输速率单位是bps,它表示什么数据通信中的信道传输速率单位是bps,它表示什么Jan 18, 2021 pm 02:58 PM

数据通信中的信道传输速率单位是bps,它表示“位/秒”或“比特/秒”,即数据传输速率在数值上等于每秒钟传输构成数据代码的二进制比特数,也称“比特率”。比特率表示单位时间内传送比特的数目,用于衡量数字信息的传送速度;根据每帧图像存储时所占的比特数和传输比特率,可以计算数字图像信息传输的速度。

聊一聊Python 实现数据的序列化操作聊一聊Python 实现数据的序列化操作Apr 12, 2023 am 09:31 AM

​在日常开发中,对数据进行序列化和反序列化是常见的数据操作,Python提供了两个模块方便开发者实现数据的序列化操作,即 json 模块和 pickle 模块。这两个模块主要区别如下:json 是一个文本序列化格式,而 pickle 是一个二进制序列化格式;json 是我们可以直观阅读的,而 pickle 不可以;json 是可互操作的,在 Python 系统之外广泛使用,而 pickle 则是 Python 专用的;默认情况下,json 只能表示 Python 内置类型的子集,不能表示自定义的

数据分析方法有哪几种数据分析方法有哪几种Dec 15, 2020 am 09:48 AM

数据分析方法有4种,分别是:1、趋势分析,趋势分析一般用于核心指标的长期跟踪;2、象限分析,可依据数据的不同,将各个比较主体划分到四个象限中;3、对比分析,分为横向对比和纵向对比;4、交叉分析,主要作用就是从多个维度细分数据。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
3 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具