我们已经开始体验到,硅计算体验到达上限的感觉。未来10年,将出现严重的算力差距,而无论是现有的技术公司还是政府,都没能解决这一问题。
现在,我们已经习惯了计算会变得越来越便宜,以至于我们从来不曾怀疑过,也许有一天我们会用不起它。
现在,Rodolfo Rosini,一家初创公司的CEO提出了一个令我们震惊的问题:如果我们正在达到经典计算模型的基本物理极限,就像我们的经济依赖廉价的计算一样,那该怎么办?
大型计算的停滞
现在,由于缺乏技术创新,美国已经到达了一个平稳期。
赖特定律(Wright’s Law)在很多行业中都成立——制造工艺每改进20%左右,生产率就会翻一番。
在技术领域,它表现为摩尔定律。
在1960年代,英特尔联合创始人Gordon Moore注意到集成电路中的晶体管数量似乎同比翻了一番,提出了摩尔定律。
从此,这个定律就成为市场和工程之间契约的基础,利用过剩的计算能力和尺寸的缩小,推动计算堆栈中产品的构建。
那时的预期是,有了更快和更便宜的处理器,计算能力会随着时间呈指数级提高。
然而,构成摩尔定律的不同力量已经发生了变化。
几十年来,摩尔定律背后的推动力是Dennard缩放定律。晶体管尺寸和功耗同步减半,使每单位能量的计算量增加一倍(后者也称为Koomey’s LawKoomey定律)。
50年的微处理器趋势数据
2005 年,由于电流泄漏导致芯片升温,这种缩放比例开始失效,随之而来的是具有单个处理核心的芯片的性能停滞不前。
为了保持计算增长轨迹,芯片行业转向了多核架构:多个微处理器“粘合”在一起。虽然这可能在晶体管密度方面延长了摩尔定律,但它增加了整个计算堆栈的复杂性。
对于某些类型的计算任务,如机器学习或计算机图形,这带来了性能提升。但是对于很多并行化不好的通用计算任务,多核架构无能为力。
总之,很多任务的计算能力不再呈指数级增长。
即使在多核超级计算机的性能上,从TOP500 (全球最快超级计算机排名)来看,2010年左右也出现了明显的拐点。
这种放缓的影响是什么?计算在不同行业中发挥的越来越重要的作用表明,影响是立竿见影的,而且只有在摩尔定律进一步动摇的情况下才会变得更加重要。
举两个极端的例子:计算能力的提高和成本的降低使得能源行业石油勘探的生产率增长了49%,生物技术行业的蛋白质折叠预测增长了94%。
这意味着计算速度的影响不仅限于科技行业,过去50年的大部分经济增长都是摩尔定律驱动的二阶效应,没有它,世界经济可能会停止增长。
还有一个需要更多算力的突出原因,就是人工智能的兴起。在今天,训练大语言模型 (LLM) 可能花费数百万美元,并需要数周时间。
如果不继续增加数字运算和数据扩展,机器学习所承诺的未来就无法实现。
随着机器学习模型在消费技术中的日益普及,预示着其他行业对计算的巨大需求,而且可能是双曲线的需求,廉价的处理正成为生产力的基石。
摩尔定律的死亡可能会带来计算的大停滞。与达到AGI可能需要的多模态神经网络相比,今天的LLM仍然相对较小,且容易训练。未来的GPT和它们的竞争对手将需要特别强大的高性能计算机来改进,甚至进行优化。
或许很多人会感到怀疑。毕竟,摩尔定律的终结已经被预言过很多次了。为什么应该是现在?
从历史上看,这些预测中有许多都源于工程上的挑战。此前,人类的聪明才智曾一次又一次地克服了这些障碍。
现在的不同之处在于,我们面临的不再是工程和智能方面的挑战,而是物理学施加的限制。
MIT Technology Review2月24日发文称,我们没有为摩尔定律的终结做好准备
过热导致无法处理
计算机是通过处理信息来工作的。
当他们处理信息时,其中一些信息会随着微处理器合并计算分支或覆盖注册表而被丢弃。这并不是免费的。
热力学定律对某些过程的效率有严格的限制,而它也适用于计算,就像它适用于蒸汽机一样。这个成本称为Landauer’s limit兰道尔极限(Landauer’s limit)。
它是每次计算操作过程中散发的微量热量:大约每比特10^-21焦耳。
鉴于这种热量这么小,兰道尔极限长期以来一直被认为可以忽略。
然而,现在的工程能力已经发展到了可以达到这种能量规模的程度,因为由于电流泄漏等其他开销,现实世界的极限估计比Landauer的边界大了10-100倍。芯片有数以千亿计的晶体管,以每秒数十亿次的速度运行。
把这些数字加起来,或许在到达热障碍之前,摩尔定律或许还剩下一个数量级的增长。
到那时,现有的晶体管架构将无法进一步提高能效,而且产生的热量会阻止将晶体管封装得更紧密。
如果我们不弄清楚这一点,就无法看清行业价值观将会发生什么变化。
微处理器将受到限制,行业将争夺边际能源效率的较低奖励。
芯片尺寸会膨胀。看看英伟达4000系列的GPU 卡:尽管使用了更高密度的工艺,但它只有一只小狗那么大,功率高达650W。
这促使NVIDIA首席执行官黄仁勋在2022年底宣布“摩尔定律已死”——尽管这一声明大部分正确,但其他半导体公司否认了这一声明。
IEEE每年都会发布半导体路线图,最新的评估是2D的微缩将在2028年完成,3D微缩应该在2031年全面启动。
3D 微缩(芯片在其中相互堆叠)已经很普遍,但它是在计算机内存中,而不是在微处理器中。
这是因为内存的散热要低得多;然而,散热在3D架构中很复杂,因此主动内存冷却变得很重要。
具有256层的内存即将出现,预计到2030年将达到1,000层大关。
回到微处理器,正在成为商业标准的多门器件架构(如Fin场效应晶体管和Gates-all-round)将在未来几年继续遵循摩尔定律。
然而,由于固有的热问题,在20世纪30年代以后都不可能有真正的垂直扩展(vertical scaling)。
事实上,目前的芯片组会仔细监督处理器的哪些部分随时处于活跃状态,即使在单个平面上也能避免过热。
2030危机?
一个世纪前, 美国诗人Robert Frost曾经这样问道:世界会在霜还是火中终结?
如果答案是火,那就几乎预示着计算的终结。
或者,就接受这个事实:电力使用会增加,然后扩大微处理器的制造规模。
为了这个目的,人类已经消耗了很大一部分地球能源。
也许另一种选择是简单地接受增加的电力使用并扩大微处理器的制造规模。我们已经为此目的使用了地球能源供应的很大一部分。
在爱尔兰,仅70个数据中心就消耗了全国14%的能源。到2030年代,预计全球生产电力的30-50%将用于计算和冷却。
(有趣的是,在3月19日博文发表后,作者又将这个预测删除了。他的解释是,这是基于Nature论文中最坏情况的推断,为了论证的清晰和精确,现在已将其删除)
而现在的能源生产的规模化速度,在这之后会导致摩尔定律规模化的成本略微增加。
而在设计(能源效率)和实施层面(将仍在使用的旧设计替换为最新技术)的一系列一次性优化措施,将允许印度等发展中经济体赶上全球的整体生产力。
而摩尔定律终结后,人类在微处理器芯片的制造还没有达到极限之前,就会耗尽能源,计算成本下降的步伐将停滞不前。
虽然量子计算被吹捧为超越摩尔定律的有效途径,但它存在太多未知数了,离商用还有数十年的发展,至少在未来 20到30年内,都派不上用场。
显然,未来10年将出现严重的算力差距,现有的技术公司、投资者或政府机构都没办法解决。
摩尔定律和兰道尔极限的碰撞已经有数十年了,可以说是2030年代最重大、最关键的事件之一。
但现在,知道这件事的人,似乎并不多。
以上是人类已达硅计算架构上限!预计2030年,AI会消耗全球电力供应的50%的详细内容。更多信息请关注PHP中文网其他相关文章!

MySQL中如何使用SUM函数计算某个字段的总和在MySQL数据库中,SUM函数是一个非常有用的聚合函数,它可以用于计算某个字段的总和。本文将介绍如何在MySQL中使用SUM函数,并提供一些代码示例来帮助读者深入理解。首先,让我们看一个简单的示例。假设我们有一个名为"orders"的表,其中包含了顾客的订单信息。表结构如下:CREATETABLEorde

时隔四个月,ByteDanceResearch与北京大学物理学院陈基课题组又一合作工作登上国际顶级刊物NatureCommunications:论文《TowardsthegroundstateofmoleculesviadiffusionMonteCarloonneuralnetworks》将神经网络与扩散蒙特卡洛方法结合,大幅提升神经网络方法在量子化学相关任务上的计算精度、效率以及体系规模,成为最新SOTA。论文链接:https://www.nature.com

6 月 23 日,澳大利亚量子计算公司 SQC(Silicon Quantum Computing)宣布推出世界上第一个量子集成电路。这是一个包含经典计算机芯片上所有基本组件的电路,但体量是在量子尺度上。SQC 团队使用这种量子处理器准确地模拟了一个有机聚乙炔分子的量子态——最终证明了新量子系统建模技术的有效性。「这是一个重大突破,」SQC 创始人 Michelle Simmons 说道。由于原子之间可能存在大量相互作用,如今的经典计算机甚至难以模拟相对较小的分子。SQC 原子级电路技术的开发将

一种受欢迎的通用编程语言是Python。它被应用于各种行业,包括桌面应用程序、网页开发和机器学习。幸运的是,Python具有简单易懂的语法,适合初学者使用。在本文中,我们将使用Python来计算矩阵的右对角线之和。什么是矩阵?在数学中,我们使用一个矩形排列或矩阵,用于描述一个数学对象或其属性,它是一个包含数字、符号或表达式的矩形数组或表格,这些数字、符号或表达式按行和列排列。例如−234512367574因此,这是一个有3行4列的矩阵,表示为3*4矩阵。现在,矩阵中有两条对角线,即主对角线和次对

本文由Cristian Bodnar 和Fabrizio Frasca 合著,以 C. Bodnar 、F. Frasca 等人发表于2021 ICML《Weisfeiler and Lehman Go Topological: 信息传递简单网络》和2021 NeurIPS 《Weisfeiler and Lehman Go Cellular: CW 网络》论文为参考。本文仅是通过微分几何学和代数拓扑学的视角讨论图神经网络系列的部分内容。从计算机网络到大型强子对撞机中的粒子相互作用,图可以用来模

阿里云机器学习平台PAI与华东师范大学高明教授团队合作在SIGIR2022上发表了结构感知的稀疏注意力Transformer模型SASA,这是面向长代码序列的Transformer模型优化方法,致力于提升长代码场景下的效果和性能。由于self-attention模块的复杂度随序列长度呈次方增长,多数编程预训练语言模型(Programming-basedPretrainedLanguageModels,PPLM)采用序列截断的方式处理代码序列。SASA方法将self-attention的计算稀疏化

使用Python的abs()函数计算数值的绝对值绝对值是一个数与零点的距离,无论这个数是正数还是负数,其绝对值都是非负数。在Python中,我们可以使用内置函数abs()来计算一个数的绝对值。本文将详细介绍abs()函数的使用方法,并给出一些代码示例。abs()函数的语法如下:abs(x)其中,x是需要计算绝对值的数值。下面是一些使用abs()函数的示例:示

清华大学举办的一场机器人版猫捉老鼠游戏,登上了Science子刊封面。这里的汤姆猫有了新的名字:“天机猫”,它搭载了清华大学类脑芯片的最新研究成果——一款名为TianjicX的28nm神经形态计算芯片。它的任务是抓住一只随机奔跑的电子老鼠:在复杂的动态环境下,各种障碍被随机地、动态地放置在不同的位置,“天机猫”需要通过视觉识别、声音跟踪或两者结合的方式来追踪老鼠,然后在不与障碍物碰撞的情况下向老鼠移动,最终追上它。在此过程中,“天机猫”需要实现实时场景下的语音识别、声源定位、目标检测、避障和决


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

SublimeText3 英文版
推荐:为Win版本,支持代码提示!

EditPlus 中文破解版
体积小,语法高亮,不支持代码提示功能

SublimeText3 Linux新版
SublimeText3 Linux最新版