首页  >  文章  >  科技周边  >  智谱AI推出第三代基座大模型ChatGLM3,以适应更多国产芯片

智谱AI推出第三代基座大模型ChatGLM3,以适应更多国产芯片

WBOY
WBOY转载
2023-10-30 18:05:231124浏览

2023年10月27日的消息是,智谱AI在中国计算机大会(CNCC)上发布了全新自研的第三代基座大模型ChatGLM3和相关系列产品。这次发布标志着智谱AI在推出千亿基座对话模型ChatGLM和ChatGLM2之后取得了重大突破

ChatGLM3是采用了独创的多阶段增强预训练方法开发的。这种方法能够使得训练更加充分。根据评测结果显示,在44个中英文公开数据集测试中,ChatGLM3在国内同尺寸模型中排名第一。智谱AI的CEO张鹏在发布会上进行了新品发布,并实时演示了最新上线的产品功能

ChatGLM3全新技术升级 更高性能更低成本

智谱AI推出的ChatGLM3经过更丰富的训练数据和更优的训练方案,性能更加强大。与ChatGLM2相比,MMLU提升了36%、CEval提升了33%、GSM8K提升了179%、BBH提升了126%

同时,ChatGLM3瞄向GPT-4V本次实现了若干全新功能的迭代升级,包括多模态理解能力的CogVLM-看图识语义,在10余个国际标准图文评测数据集上取得SOTA;代码增强模块Code Interpreter根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务;网络搜索增强WebGLM-接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3的语义能力与逻辑能力得到了极大的增强。

ChatGLM3还集成了自研的AgentTuning技术,激活了模型智能体能力,尤其在智能规划和执行方面,相比于ChatGLM2提升了1000% ;开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。

此外,ChatGLM3本次推出可手机部署的端测模型ChatGLM3-1.5B和 ChatGLM3-3B,支持包括vivo、小米、三星在内的多款手机以及车载平台,甚至支持移动平台上CPU芯片的推理,速度可达20 tokens/s。精度方面1.5B和3B模型在公开benchmark上与ChatGLM2-6B模型性能接近。

基于最新的高效动态推理和显存优化技术,ChatGLM3当前的推理框架在相同硬件、模型条件下,相较于目前最佳的开源实现,包括伯克利大学推出的 vLLM 以及Hugging Face TGI的最新版本,推理速度提升了2-3倍,推理成本降低一倍,每千tokens仅0.5分,成本最低。

本内容仅供参考,不构成任何投资建议。读者在使用这些信息时应自行判断,并为自己的决策承担责任。本网站不对任何因使用本内容而导致的损失负责

本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证,并在此声明不承担信息可能产生的任何责任、任何后果。 重写后: 本账号对所发布的任何信息的可用性、准确性、时效性、有效性或完整性不作任何声明或保证,并且在此声明中不承担任何责任或后果

2、 本号非商业、非营利性,转载的内容并不代表赞同其观点和对其真实性负责,也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误,负任何直接或间接责任。

3、本文所使用的资料、素材、文字、图片等均来自互联网,所有转载内容均已标明出处。如果您发现有侵犯您的知识产权或个人合法权益的作品,请与我们联系,我们将及时进行修改或删除

智谱AI推出第三代基座大模型ChatGLM3,以适应更多国产芯片

以上是智谱AI推出第三代基座大模型ChatGLM3,以适应更多国产芯片的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文转载于:sohu.com。如有侵权,请联系admin@php.cn删除