搜索
首页科技周边人工智能打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

多年来,我们一直无法理解人工智能是如何做出决策和产生输出的

模型开发人员只能决定算法、数据,最后得到模型的输出结果,而中间部分——模型是怎么根据这些算法和数据输出结果,就成为了不可见的「黑箱」。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

所以就出现了「模型的训练就像炼丹」这样的戏言。

但现在,模型黑箱终于有了可解释性!

来自Anthropic的研究团队提取了模型的神经网络中最基本的单位神经元的可解释特征。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

这将是人类揭开AI黑箱的里程碑式的一步。

Anthropic充满激动地表示:

「如果我们能够理解模型中的神经网络是如何工作的,那么诊断模型的故障模式、设计修复程序,并让模型安全地被企业和社会采用就将成为触手可及的现实!」

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

在Anthropic的最新研究报告《走向单语义性:用字典学习分解语言模型》中,研究人员使用字典学习的方法,成功地将包含512个神经元的层分解成了4000多个可解释的特征

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

研究报告地址:https://transformer-circuits.pub/2023/monosemantic-features/index.html

这些特征分别代表了DNA序列、法律语言、HTTP请求、希伯来文本和营养成分说明等

当我们孤立地观察单个神经元的激活时,我们无法看到这些模型属性中的大部分

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

大多数神经元都是「多语义」的,这意味着单个神经元与网络行为之间没有一致的对应关系

例如,在一个小型语言模型中,单个神经元在许多不相关的上下文中都很活跃,包括:学术引文、英语对话、HTTP 请求和韩语文本。

而在经典视觉模型中,单个神经元会对猫的脸和汽车的前脸做出反应。

在不同的语境中,许多研究都证明了一个神经元的激活可能具有不同的含义

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

一个潜在的原因是神经元的多语义性是由于叠加效应。这是一种假设的现象,即神经网络通过为每个特征分配自己的神经元线性组合来表示数据的独立特征,而这种特征的数量超过了神经元的数量

如果将每个特征视为神经元上的一个向量,那么特征集就构成了网络神经元激活的一个过完备线性基础。

在Anthropic之前的Toy Models of Superposition(《叠加玩具模型》)论文中,证明了稀疏性在神经网络训练中可以消除歧义,帮助模型更好地理解特征之间的关系,从而减少激活向量的来源特征的不确定性,使模型的预测和决策更可靠。

这一概念类似于压缩感知中的思想,其中信号的稀疏性允许从有限的观测中还原出完整的信号。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

但在Toy Models of Superposition中提出的三种策略中:

(1)创建没有叠加的模型,或许可以鼓励激活稀疏性;

(2)在展现出叠加态的模型中,采用字典学习来寻找过完备特征

(3)依赖于两者结合的混合方法。

需要进行改写的内容是:方法(1)无法解决多义性问题,而方法(2)则容易出现严重的过拟合情况

因此,这次Anthropic的研究人员使用了一种称为稀疏自动编码器的弱字典学习算法,从经过训练的模型中生成学习到的特征,这些特征提供了比模型神经元本身更单一的语义分析单位。

具体来说,研究人员采用了具有512个神经元的MLP单层transformer,并通过从80亿个数据点的MLP激活上训练稀疏自动编码器,最终将MLP激活分解为相对可解释的特征,扩展因子范围从1×(512个特征)到256×(131,072个特征)。

为了验证本研究发现的特征比模型的神经元更具可解释性,我们进行了盲审评估,让一位人类评估员对它们的可解释性进行评分

可以看到,特征(红色)的得分比神经元(青色)高得多。

研究人员发现的特征相对于模型内部的神经元来说更易于理解,这一点已经得到证明

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

此外,研究人员还采用了「自动解释性」方法,通过使用大型语言模型生成小型模型特征的简短描述,并让另一个模型根据该描述预测特征激活的能力对其进行评分。

同样,特征得分高于神经元,证明了特征的激活及其对模型行为的下游影响具有一致的解释。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

并且,这些提取出的特征还提供了一种有针对性的方法来引导模型。

如下图所示,人为激活特征会导致模型行为以可预测的方式更改。

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

以下是提取出的可解释性特征的可视化图:

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

点击左侧的特征列表,您可以与神经网络中的特征空间进行互动式探索

研究报告概要

这份来自Anthropic的研究报告,Towards Monosemanticity: Decomposing Language Models With Dictionary Learning,主要可以分为四个部分。

问题设置,研究人员介绍了研究动机,并阐述训练的transfomer和稀疏自动编码器。

单个特征详细调查,证明了研究发现的几个特征是功能上特定的因果单元。

通过全局分析,我们得出结论,典型特征是可以解释的,并且它们能够解释MLP层的重要组成部分

现象分析,描述了特征的几个属性,包括特征分割、普遍性,以及它们如何形成类似于「有限状态自动机」的系统来实现复杂的行为。

结论包括以下7个:

稀疏自动编码器具有提取相对单一的语义特征的能力

稀疏自编码器能够生成可解释的特征,而这些特征在神经元的基础中实际上是不可见的

3. 稀疏自动编码器特征可用于干预和引导变压器的生成。

4. 稀疏自编码器能生成相对通用的特征。

随着自动编码器大小的增加,特征有「分裂」的倾向。 重写后:随着自动编码器尺寸的增加,特征呈现出「分裂」的趋势

6. 只需512个神经元即可表示成千上万个特征

7. 这些特征通过连接在一起,类似于「有限状态自动机」的系统,实现了复杂的行为,如下图所示

打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍

具体详细内容可见报告。

Anthropic认为,要将本研究报告中小模型的成功复制到更大的模型上,我们今后面临的挑战将不再是科学问题,而是工程问题

为了在大型模型上实现解释性,需要在工程领域投入更多的努力和资源,以克服模型复杂性和规模带来的挑战

包括开发新的工具、技术和方法,以应对模型复杂性和数据规模的挑战;也包括构建可扩展的解释性框架和工具,以适应大规模模型的需求。

这将成为解释性人工智能和大规模深度学习研究领域的最新趋势

以上是打破大模型黑盒,彻底分解神经元!OpenAI对头Anthropic击破AI不可解释性障碍的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
微软工作趋势指数2025显示工作场所容量应变微软工作趋势指数2025显示工作场所容量应变Apr 24, 2025 am 11:19 AM

由于AI的快速整合而加剧了工作场所的迅速危机危机,要求战略转变以外的增量调整。 WTI的调查结果强调了这一点:68%的员工在工作量上挣扎,导致BUR

AI可以理解吗?中国房间的论点说不,但是对吗?AI可以理解吗?中国房间的论点说不,但是对吗?Apr 24, 2025 am 11:18 AM

约翰·塞尔(John Searle)的中国房间论点:对AI理解的挑战 Searle的思想实验直接质疑人工智能是否可以真正理解语言或具有真正意识。 想象一个人,对下巴一无所知

中国的'智能” AI助手回应微软召回的隐私缺陷中国的'智能” AI助手回应微软召回的隐私缺陷Apr 24, 2025 am 11:17 AM

与西方同行相比,中国的科技巨头在AI开发方面的课程不同。 他们不专注于技术基准和API集成,而是优先考虑“屏幕感知” AI助手 - AI T

Docker将熟悉的容器工作流程带到AI型号和MCP工具Docker将熟悉的容器工作流程带到AI型号和MCP工具Apr 24, 2025 am 11:16 AM

MCP:赋能AI系统访问外部工具 模型上下文协议(MCP)让AI应用能够通过标准化接口与外部工具和数据源交互。由Anthropic开发并得到主要AI提供商的支持,MCP允许语言模型和智能体发现可用工具并使用合适的参数调用它们。然而,实施MCP服务器存在一些挑战,包括环境冲突、安全漏洞以及跨平台行为不一致。 Forbes文章《Anthropic的模型上下文协议是AI智能体发展的一大步》作者:Janakiram MSVDocker通过容器化解决了这些问题。基于Docker Hub基础设施构建的Doc

使用6种AI街头智能策略来建立一家十亿美元的创业使用6种AI街头智能策略来建立一家十亿美元的创业Apr 24, 2025 am 11:15 AM

有远见的企业家采用的六种策略,他们利用尖端技术和精明的商业敏锐度来创造高利润的可扩展公司,同时保持控制权。本指南是针对有抱负的企业家的,旨在建立一个

Google照片更新解锁了您所有图片的惊人Ultra HDRGoogle照片更新解锁了您所有图片的惊人Ultra HDRApr 24, 2025 am 11:14 AM

Google Photos的新型Ultra HDR工具:改变图像增强的游戏规则 Google Photos推出了一个功能强大的Ultra HDR转换工具,将标准照片转换为充满活力的高动态范围图像。这种增强功能受益于摄影师

Descope建立AI代理集成的身份验证框架Descope建立AI代理集成的身份验证框架Apr 24, 2025 am 11:13 AM

技术架构解决了新兴的身份验证挑战 代理身份集线器解决了许多组织仅在开始AI代理实施后发现的问题,即传统身份验证方法不是为机器设计的

Google Cloud Next 2025以及现代工作的未来Google Cloud Next 2025以及现代工作的未来Apr 24, 2025 am 11:12 AM

(注意:Google是我公司的咨询客户,Moor Insights&Strateging。) AI:从实验到企业基金会 Google Cloud Next 2025展示了AI从实验功能到企业技术的核心组成部分的演变,

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器