AI大模型在2023年成为关键词,也是各大科技公司竞争的热门领域。然而,这种象征未来的AI大模型成本过高,甚至让像微软这样财大气粗的公司开始考虑备选方案。最近有爆料显示,在由Peter Lee领导的微软内部的1500人研究团队中,有一部分人转向研发全新的LLM,它的体积更小,运营成本也更低
关于微软的小尺寸AI模型,在3个月前已经开始显露端倪。今年6月,微软发布了一篇题为《Textbooks Are All You Need》的论文,使用仅有70亿token的“教科书级别”数据训练了一个13亿参数的模型phi-1,证明即使是小规模的高质量数据也能使模型具备良好的性能。此外,微软研究院还在phi-1的基础上发布了一个名为phi-1.5的全新预训练语言模型,适用于QA问答、聊天格式和代码等场景
根据微软方面的说法,在测试常识、语言理解和逻辑推理的基准下,phi-1.5的表现超出了相当一部分大模型。phi-1.5在带LM-Eval Harness的GPT4AL跑分套件中,可以媲美Meta旗下拥有70亿参数的开源大模型llama-2,在AGIEval得分上甚至超过了llama-2。
为什么微软要突然开发小尺寸的AI模型呢?外界普遍认为,这可能与OpenAI之间的问题有关。微软是OpenAI的主要投资方,因此可以永久使用OpenAI现有的知识产权,但并不能控制OpenAI的决策。因此,对于像微软这样的巨头来说,开发高质量的小尺寸AI模型是必不可少的,无论是出于自身战略安全的考虑,还是为了在与OpenAI的合作中保持有利的地位
当然,AI大模型目前的能源消耗是一个关键因素。在今年年初的设计自动化大会上,AMD首席技术官Mark Papermaster展示了一张幻灯片,比较了机器学习系统的能源消耗和全球发电情况。根据国际能源署的估计,训练大型模型的数据中心的能源消耗越来越大,占全球电力消耗的1.5%至2%,相当于整个英国的用电量。预计到2030年,这个比例将上升到4%
根据Digital Information World发布的相关报告显示,数据中心为训练AI模型产生的能耗将为常规云服务的三倍,到2028年数据中心功耗将接近4250兆瓦、比2023年增加212倍。而OpenAI训练GPT-3的耗电量为1.287吉瓦时,大约相当于120个美国家庭1年的用电量。但这还仅仅只是训练AI模型的前期电耗,仅占模型实际使用时所消耗电力的40%。
根据谷歌发布的2023年环境报告显示,训练AI大模型不仅会消耗大量能源,还会耗费大量水资源。据报告显示,谷歌在2022年消耗了56亿加仑(约212亿升)的水,相当于37个高尔夫球场的用水量。其中52亿加仑用于谷歌的数据中心,比2021年增加了20%
AI大模型的高能耗是很正常的。用ARM高级技术总监Ian Bratt的话来说,就是“AI计算需求是无法满足的。网络规模越大,结果越好,可以解决的问题也越多,电力使用与网络规模成正比。”
有人工智能从业者表示,在疫情之前,训练一个Transformer模型所需的能量消耗在27千瓦时的范围内。然而,现在Transformer模型的参数数量已经从5000万增加到了2亿,能量消耗也已经超过了50万千瓦时。也就是说,参数数量增加了四倍,但能量消耗却增加了超过18000倍。从某种意义上来说,人工智能大型模型所带来的各种创新功能,实际上都是以高昂的处理性能和能量消耗为代价
更多的电力驱动更多的GPU进行AI训练,又要大量消耗水资源来冷却GPU,这就是问题所在。以至于微软被曝光正在制定一个路线图,希望用小型核反应堆产生的电能来运营数据中心。更何况即便不提ESG(“环境、社会及管治”),单纯从成本层面出发,研究小尺寸模型也是有价值的。
众所周知,搭建了CUDA生态的英伟达是这一轮AI热潮中的最大受益者,更是已经占据了AI芯片市场的70%,如今H100、A100等计算卡更可谓是一卡难求。可现在的情况,是向英伟达购买算力已经成为了一个推高AI厂商成本的重要因素。所以小尺寸模型也就意味着需要的算力资源更少,只需购买更少的GPU就能解决问题。
尽管功能更强大的大型模型确实很出色,但目前大型模型的商业化仍处于初级阶段,唯一赚得盆满钵满的是英伟达公司这个“卖铲子”的角色。因此,在这种情况下,微软自然也有意改变现状
以上是微软推出小型AI模型,秘密进行“B计划”,与OpenAI无关的详细内容。更多信息请关注PHP中文网其他相关文章!