首页  >  文章  >  科技周边  >  Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

WBOY
WBOY转载
2023-09-17 22:49:08682浏览

根据外媒《华尔街日报》消息,Meta正在加紧开发新的大语言模型,能力将完全对标GPT-4,预计将于明年推出。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

消息还特别强调了,Meta新的大语言模型将比Llama 2大数倍,而且大概率还是会开源,支持免费商用。

自从年初Meta将LlaMA「不小心」泄露出来之后,到7月份Llama 2的开源发布,Meta渐渐找到了自己在这次AI浪潮中的独特位置——AI开源社区的旗帜。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

人员的变动不断,模型的能力存在缺陷,只能依赖开源软件来解决问题

年初,在OpenAI用GPT-4引爆了科技行业之后,谷歌,微软也相继推出了自己的AI产品。

在5月份的时候,美国监管层就邀请了当时他们认为AI行业相关的头部企业CEO,开了一个圆桌会议,讨论AI技术的发展。

OpenAI、谷歌和微软都受邀参加了,甚至还有初创公司Anthropic,但是Meta却没有出现。当时官方回应Meta缺席的原因是:“我们只邀请了AI行业中最顶尖的公司。”

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

好事没有轮上Meta,但是麻烦却源源不断地找上门来。

小扎在6月初收到了国会寄来的一封质询信,信中要求他详细解释3月份LlaMA泄漏事故的原因和影响。这封信措辞严厉,要求非常明确

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

而在后来的几个月时间里,即便在Llama 2发布之后,Meta之前花重金打造的AI团队却依然在逐渐分崩离析。

在Llama 2的致谢中,提到了4个最早发起这项研究的团队成员,其中三人已经离职,目前只有Edouard Grave仍在Meta公司工作

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

业界大牛何恺明,也将离开Meta,回归学术界。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

根据最近The Information的爆料文章,Meta的AI团队,因为对于内部算力的争夺,摩擦不断,人员陆续离开。

在这样的大背景下,小扎自己应该也很清楚,Meta自己的大语言模型,也确实没有办法和业内最前沿的GPT-4沾边。

无论是从基准测试的各个方向还是用户反馈来看,Llama 2和GPT-4之间的差距仍然很大

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

在各项基准测试中,开源的Llama 2和GPT-4之间存在相当大的差距

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

GPT-4比Llama 2在网友的实际体验中依然表现出明显的领先优势

因此,小扎决定让Meta继续在模型开源之路上狂奔不止

或许小扎背后的思路是这样的:Meta模型的能力一般,无法与闭源大佬竞争,继续保密也没有什么意义。因此,干脆开源,让AI社区以自家模型为基础进行不断迭代,以扩大自己产品在业界的影响力

小扎曾多次公开表示,开源社区对于他们的模型迭代起到了启发作用,使得他们的技术团队能够在未来开发出更具竞争力的产品

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

小扎在Fridman的播客中强调,开源能让Meta从社区中吸取灵感,而且未来Meta可能会推出闭源模型。 

参见:https://lexfridman.com/mark-zuckerberg-2/

而事实也证明,Meta的这个选择确实是正确的。

虽然在算力资源和技术实力上比不上谷歌,OpenAI,但是Meta的Llama 2等开源模型对于开源社区的吸引力依然是首屈一指的。随着Llama 2慢慢成为AI开源社区的「技术底座」,Meta也在行业中找到了自己的生态位。

最明显的一个标志是,马上9月份将要召开的国会AI闭门会议之中,小扎终于成为了监管层的座上宾,和谷歌、OpenAI等行业最前沿的公司CEO一同作为代表,对于AI行业监管发出自己的声音。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

而如果明年Meta推出的新模型,能够继续保持进步,获得和GPT-4持平的能力,一方面能让开源社区继续拉近与闭源巨头的差距,坐实了「开源社区与行业最先进水平差距在一年左右」的说法。

另一方面,小扎在采访中也曾透露,如果未来大模型能力进一步提升,Meta可能会推出自己的闭源模型。如果新的模型能进一步迫近行业SOTA,也许就离Meta推出自己的闭源模型不远了。

尽管Meta在这次AI浪潮中似乎暂时落后,但小扎并不满足于只做一个追随者

在Yann Lecun的指导下,Meta也在准备颠覆整个行业

Meta的未来

所以,这个传说中能比肩GPT-4的神秘大模型之后,Meta AI未来会是什么样子?

因为目前还没有具体信息,我们也只能做一番猜测,比如从Meta AI首席科学家LeCun的态度入手。

当红炸子鸡GPT,一直是LeCun批评和鄙视的人工智能发展路线。

今年2月4日,LeCun直截了当地表达了他的观点,他认为大型语言模型在通往人类级别AI的道路上是一条错误的路径

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

他认为这种根据概率生成自回归的大模型最多活不过5年,因为这些人工智能只是在大量的文本上训练的,它们无法理解现实世界。

这些模型既不会进行计划,也不能进行推理,它们只具备上下文学习的能力

严肃的说,这些在LLM上训练的人工智能几乎毫无「智能」可言。

而LeCun期待的,则是能够通向AGI的 「世界模型」。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

世界模型能够学习世界如何运作,更快速地进行学习,为完成复杂任务做出计划,并随时应对不熟悉的新情况。

这与需要大量预训练的LLM不同,世界模型能够像人类一样,从观察中找到规律,适应新环境、掌握新技能。

Meta力求多样化的模型开发,与OpenAI在LLM领域不断精进深耕的策略相比

今年6月14日,Meta发布了一个「类人」的人工智能模型 I-JEPA,也是史上第一个基于LeCun世界模型愿景关键部分的AI模型。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

请点击以下链接查看论文:https://arxiv.org/abs/2301.08243

I-JEPA能够理解图像中的抽象表征,并通过自我监督学习获取常识

I-JEPA无需额外的人工制作知识作为辅助

随后,Meta推出了Voicebox,这是一个全新的创新性语音生成系统,它基于Meta AI提出的一种全新的方法——流匹配

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

它可以合成六种语言的语音,执行去噪、编辑内容、转换音频风格等操作。

Meta还发布了通用的具身AI代理人

通过语言引导技能协调(LSC),机器人可以在预先映射的某些环境中自由移动和拾取物品

在多模态模型的开发中,Meta独具特色

ImageBind,第一个能够从六种不同模态绑定信息的人工智能模型。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

它具备了机器全面的理解能力,能够将照片中的物体与它们的声音、三维形状、温度以及运动方式联系起来

而来自Meta AI和CMU_Robotics共同开发的RoboAgent,让机器人可以获得各种各样的非平凡技能,并将它们推广到数百个生活场景中。

所有这些场景的数据都比之前在该领域的工作少了一个数量级

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

对于这次爆料的模型,有网友表示,希望他们继续开放源代码。

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

然而,也有一些网友表示,Meta要到2024年初才会开始训练

Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用

但令人欣慰的是,Meta依旧释放了自己将继续坚持原有战略的信号。

以上是Meta计划在明年发布全新的开源版GPT-4级大模型,其参数量将是Llama 2的数倍,用户可免费商用的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文转载于:51cto.com。如有侵权,请联系admin@php.cn删除