中兴通讯推出“星云研发大模型”：AI 编程助手、1000 亿 token 震撼登场

IT之家报道，2023年10月11日至13日，中国移动全球合作伙伴大会期间，中兴通讯展示了他们的“星云研发大模型”，该模型旨在帮助开发人员进行需求分析、产品设计、编程、测试和版本部署等工作

据介绍，"星云研发大模型" 支持白名单机制，能够有效控制使用范围。同时，它还可以通过代码特征值识别来有效识别敏感代码片段，并通过敏感词识别机制实时监测和拦截敏感内容。此外，该模型还具备后台审计机制，可以完整回溯安全事件

中兴通讯表示，2023 年 4 月，“星云研发大模型”使用启动，截至目前，日活人数达 1.2 万人， 代码采纳率达 40%~45%，编码提效 30%，整体研发提效 10%。

根据官方公告，IT之家得知，中兴通讯将会将领域数据、知识积累、大量通信领域技术文档和1000亿个无线/核心网/云代码语料等注入到大型模型中进行增量预训练，并采用并行训练框架

中兴通讯声称：“我们的自研部署方案采用了动态批处理策略和PagedAttention技术，结合无损模型量化，大大提升了吞吐量。单个GPU（A800）的吞吐量达到了1500个tokens/秒，仅使用4张GPU卡（A800）就能满足超过千人的使用需求。与行业常规的部署方案相比，单个GPU的吞吐量分别提升了10倍以上和20倍以上；同时结合int4量化技术，在不降低模型精度的情况下，模型大小和显存使用量都减少了一半。”

以上是中兴通讯推出“星云研发大模型”：AI 编程助手、1000 亿 token 震撼登场的详细内容。更多信息请关注PHP中文网其他相关文章！