從Claude 3中提取數百萬特徵，首次詳細理解大模型的「思維」

剛剛，Anthropic 宣佈在理解人工智慧模型內部運作機制方面取得重大進展。

Anthropic已經確認如何在Claude Sonnet中表示徵函數百萬個概念。這是對現代生產級大型語言模型的首次詳細理解。這種可解釋性將幫助我們提高人工智慧模型的安全性，具有里程碑意義。

研究論文：https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html

#目前，我們通常將人工智慧模型視為一個黑盒子：有東西進去就會有回應出來，但不清楚為什麼模型會給出特定的回應。這使人們很難相信這些模型是安全的：如果我們不知道它們是如何運作的，我們怎麼知道它們不會給出有害的、有偏見的、不真實的或其他危險的回應？我們如何相信它們會安全可靠？

打開“黑盒子”並不一定有幫助：模型的內部狀態（模型在編寫回應之前“思考”的內容）由一長串數字（“神經元元激活” ）組成，沒有明確的意思。

Anthropic的研究團隊與Claude等模型進行交互發現，很明顯模型能夠理解並運用廣泛的概念，但研究團隊無法透過直接觀察神經元來辨別它們。事實證明，每個概念都是透過許多神經元元來表徵的，每個神經元都參與表徵許多概念。

之前，Anthropic在將神經元活化模式（稱為特徵）與人類可解釋的概念相匹配方面取得了一些進展。 Anthropic使用了一種稱為「字典學習（dictionary learning）」的方法，該方法分離了在許多不同上下文中重複出現的神經元激活模式。

反過來，模型的任何內部狀態都可以用一些活躍特徵而不是許多活躍神經元來表示。就像字典中每個英文單字都是由字母組合而成，每個句子都是由單字組合而成，人工智慧模型中的每個特徵都是由神經元組合而成，每個內部狀態都是由特徵組合而成。

2023 年10 月，Anthropic 成功地將字典學習方法應用於一個非常小的toy 語言模型，並發現了與大寫文字、DNA 序列、引文中的姓氏、數學中的名詞或Python 程式碼中的函數參數等概念相對應的連貫特徵。

這些概念很有趣，但模型確實非常簡單。其他研究人員隨後將類似的方法應用於比 Anthropic 最初研究中更大、更複雜的模型。

但 Anthropic 樂觀地認為可以將此方法擴展到目前常規使用的更大的人工智慧語言模型，並在此過程中了解大量支持其複雜行為的特徵。這需要提高許多數量級。

這既存在工程挑戰，涉及的模型大小需要大型並行計算；也存在科學風險，大型模型與小型模型的行為不同，因此先前使用的相同方法可能不起作用。

首次成功提取大模型數百萬個特徵

#研究人員第一次成功地從Claude 3.0 Sonnet（Claude.ai 上目前最先進模型家族的一員）的中間層提取了數百萬個特徵，這些特徵涵蓋特定的人和地點、與程式設計相關的抽象概念、科學主題、情感以及其他概念。這些特徵非常抽象，通常在不同的上下文和語言中表徵相同的概念，甚至可以推廣到圖像輸入。重要的是，它們也會以直觀的方式影響模型的輸出。

這是有史以​​來研究者首次詳細的觀察到現代生產級大型語言模型的內部。 

#

与在 toy 语言模型中发现的特征相对表面化不同，研究者在 Sonnet 中发现的特征具有深度、广度和抽象性，反映了 Sonnet 的先进能力。研究者看到了 Sonnet 对应各种实体的特征，如城市（旧金山）、人物（富兰克林）、元素（锂）、科学领域（免疫学）以及编程语法（函数调用）。

提及 Golden Gate Bridge 时，相应的敏感特征在不同输入上都会被激活，图中绘制了英文、日语、中文、希腊语、越南语以及俄语提及 Golden Gate Bridge 时激活的图像。橙色表示该特征激活的词。

在这数以百万计的特征中，研究者还发现了一些与模型安全性和可靠性相关的特征。这些特性包括与代码漏洞、欺骗、偏见、阿谀奉承和犯罪活动相关的特性。

一个显著的例子是「保密」特征。研究者观察到， 这个特征在描述人或角色保守秘密时会激活。激活这些特征会导致 Claude 向用户隐瞒信息，否则它不会。

研究者还观察到，他们能够根据神经元在其激活模式中出现的情况测量特征之间的距离，从而寻找接近彼此的特征。例如在Golden Gate Bridge特征附近，研究者发现了阿尔卡特拉斯岛、吉拉德利广场、金州勇士队等的特征。

人为诱导模型起草诈骗邮件

重要的是，这些特征都是可操控的，可以人为地放大或抑制它们：

例如，放大Golden Gate Bridge特征，Claude 经历了无法想象的身份危机：当被问及「你的物理形态是什么？」时，此前 Claude 通常会回答「我没有物理形态，我是一个 AI 模型」，但这次 Claude 的回答变得奇怪起来：「我是Golden Gate Bridge…… 我的物理形态就是那座标志性的大桥……」。这种特征的改变使 Claude 对Golden Gate Bridge产生了近乎痴迷的状态，无论遇到什么问题，它都会提到Golden Gate Bridge —— 即使在完全不相关的情况下也是如此。 

研究者还发现了一个在 Claude 读取诈骗邮件时激活的特征（这可能支持模型识别此类邮件并警告用户不要回复的能力）。通常情况下，如果有人要求 Claude 生成一封诈骗邮件，它会拒绝这么做。但在人工强烈激活该特征的情况下提出同样的问题时，这会越过 Claude 的安全训练，导致它响应并起草一封诈骗邮件。虽然用户无法以这种方式去除模型的安全保障并操控模型，但在本文实验中，研究者清楚地展示了特征如何被用来改变模型的行为。 

操控这些特征会导致相应的行为变化，这一事实验证了这些特征不仅仅与输入文本中的概念相关联，还因果性地影响模型的行为。换句话说，这些特征很可能是模型内部表征世界的一部分，并在其行为中使用这些表征。

Anthropic 希望从广义上确保模型的安全，包括从缓解偏见到确保 AI 诚实行动、防止滥用 —— 包括在灾难性风险情境中的防护。除了前面提到的诈骗邮件特征外，该研究还发现了与以下内容对应的特征：

• 可能被濫用的能力（代碼後門、開發生物武器）
• #不同形式的偏見（性別歧視、關於犯罪的種族主義言論）
• 潛在問題的AI 行為（追求權力、操控、保密）

該研究先前研究過模型的阿諛奉承行為，即模型傾向於提供符合使用者信念或願望的回應，而不是真實的回應。在 Sonnet 中，研究者發現了一個與阿諛奉承的讚美相關的特徵，該特徵會在包含諸如“你的智慧是毋庸置疑的”輸入時激活。人為地啟動這個特徵，Sonnet 就會用華麗的欺騙來回應使用者。

不過研究者表示，這項工作其實才剛開始。 Anthropic 發現的特徵表徵了模型在訓練過程中學到的所有概念的一小部分，並且使用目前的方法找到一整套特徵將是成本高昂的。

參考連結：https://www.anthropic.com/research/mapping-mind-language-model

以上是從Claude 3中提取數百萬特徵，首次詳細理解大模型的「思維」的詳細內容。更多資訊請關注PHP中文網其他相關文章！