用餐盘推动现代LLM的极限？

通常，我们知道AI很大，而且越来越大。快速越来越快。

但是，具体来说，并不是每个人都熟悉行业中一些最新的硬件和软件方法，以及它们如何促进更好的结果。人们正在努力揭示LLM技术中更多固有的力量。事情正在快速剪辑。

小脑WSE

其中之一是小脑WSE或晶圆刻度发动机 - 这是一个庞大的处理器，可以为以前难以想象的AI功能提供动力。

首先，您不再将其称为微处理器。它是餐盘的大小 - 8.5 x 8.5英寸。它具有数十万个核心，以及令人惊叹的上下文能力。

但是，让我从一些基本术语开始，您可以在以前是麻省理工学院学生的摩根·罗克特（Morgan Rockett）的演讲中听到，在评估LLM输出时谈论基础知识。

词汇表

LLM是神经网络。他们使用令牌化过程，其中令牌是一小部分数据，这些数据被放入机器编程问题的整体上下文中。

然后是上下文 - 程序可以回顾以前的令牌，并将它们绑在更大的图像中。

还有推理 - 计算机实时思考问题或提出回应的方式。

Rockett越过的另一个术语是费率限制，如果您不拥有该模型，则必须忍受该模型运营商施加的阈值。

用WSE提高游戏

罗克特（Rockett）在解释这些系统背后的硬件时透露的是，他是一个脑伴侣，这是一个大量芯片的开创性。

查看常见的硬件设置，他跨越了四个系统 - NVIDIA GPU，Google TPU，Grok LPU（语言处理单元）和小脑WSE。

他在谈到WSU产品时说：“市场上实际上没有什么比这更喜欢的。 “就速度基准而言，脑脑是一家新兴的芯片公司。它们每秒有2500个令牌，这几乎是即时的响应。这是文本的整个页面，并且会产生太快，而且阅读太快了。”

他指出，Grok目前排名第二，每秒约1600个令牌。

漏斗数据

本演示文稿中展示的方法基本上是一个大文件的给定块的选择，以及该文件内容的摘要。

Rockett指出，真正的大文件太大了，无法管理LLM，因此介绍了三种方法：Log2，Square Root和Double Square Root - 所有这些方法都涉及对块进行抽样以获得凝聚力的结果，而不会使用“漏斗”设计，而无需超载模型。

在演示中，他在4 GB的数据集上显示了4至5秒的推断模型，他说，同等的纸张或400万个令牌的纸张堆积为10英尺。

肯尼迪文件

他选择使用的数据是我们可用信息的总档案，围绕60年代暗杀的变革事件。

罗克特（Rockett）以他的方法来展示了该模型，并与几乎无限的RAM合作，在这里，令牌化是主要时间负担。

他说，借助输入技术，您可以达到速率限制，并且可以想象可以解决令牌化。

查看视频以获取有关档案的摘要，介绍了那个时代中央情报局的许多秘密活动，并在猪湾活动中绑定了更多活动。

有关WSE的更多信息

Rockett可以回到脑部处理器的实际用途，其中提到了法律，政府和贸易界，那里的快速信息至关重要。

我想要更多具体的例子，所以我问了chatgpt。它返回了该硬件的许多有趣的用例，包括阿拉伯联合酋长国的AI和Cloud Company，以及Mayo诊所，各种制药公司以及Lawrence Livermore国家实验室（包括Lawrence Livermore的核项目，包括我做的故事）。

然后我问了一个不同的问题：

“你可以用脑WSE吃晚餐吗？”

“身体上？” Chatgpt回答。 “是的，但是您将同时承担财务和技术暴行……脑晶圆尺度发动机（WSE）是有史以来最大的芯片 - 就像盘子一样，它就像在罗塞塔石上吃意大利面一样 - 可能是技术上的可能，但非常荒谬，但非常荒谬。”

这给了我这三个主要原因，不要尝试如此愚蠢的事情（我逐字依附）：

• 这是非常脆弱的 - 即使是面包屑也可以简化一些东西。
• 它运行非常热，需要积极的冷却，因此您可能会无意地（不良）烹饪食物。
• 表面不是食物安全。任何酱汁都会使您的保修无效，并可能毒害您。

“简而言之：您可以从中吃晚饭，” Chatgpt说，“一次。然后您没有碎片，没有晚餐，也没有工作。将其用作盘子就像在Rosetta Stone上吃掉意大利面，从技术上讲是可能的，但非常荒谬。”

Touché，chatgpt。触摸。

这是其中最迷人的硬件之一，以及它适合上下文推理方程式。当我们增强这些系统时，我们会看到几乎实时需要很长时间发生的事情。那是一个真正的大开眼界。

以上是用餐盘推动现代LLM的极限？的详细内容。更多信息请关注PHP中文网其他相关文章！