本周一,Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。
Stable Code Instruct 3B 是建立在 Stable Code 3B 基础上的指令调整编码语言模型(Code LM)。通过提供自然语言提示,该模型可应用于多种任务,包括代码生成、数学问题以及其他与软件工程相关的任务。
Stability AI声称,他们的模型在规模为3B时表现出了最先进的性能,优于CodeLlama的7B Instruct等更大规模的模型,在软件工程相关任务中,甚至与StarChat的15B模型性能相当。
- 模型:https://huggingface.co/stabilityai/stable-code-instruct-3b
- HuggingFace 试用:https://huggingface.co/spaces/stabilityai/stable-code-instruct-3b
- Stable Code 技术报告:https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable_Code_TechReport_release.pdf
Stable Code Instruct 3B已经升级了代码补全功能,并且支持自然语言交互,旨在提高编程和软件开发任务的效率和直观性。实验结果显示,这个模型在各种编码相关任务中表现优异,超过了Codellama 7B Instruct和DeepSeek-Coder Instruct 1.3B等竞争对手模型。
方法介绍
Stable Code 建立在 Stable LM 3B 的基础上。Stable Code 是一个因果纯解码器 transformer,类似于 LLaMA 架构,与 LLaMA 的主要区别如下:
- 位置嵌入,旋转位置嵌入应用于头嵌入维度的前 25%,以提高吞吐量;
- 标准化,带有学得偏差项的 LayerNorm;
- 偏差,除了键、查询和值投影的偏差,Stable Code 从前馈网络和多头自注意力层中删除了所有偏差项。
下表给出了预训练语料库数据集的采样权重、 epoch、类别等信息。
根据 Stack Overflow 2023 开发者调查报告,Stable Code Instruct 3B 重点关注 Python、Javascript、Java、C、C 和 Go 等语言,这些语言对于各种开发人员来说是最流行和最有影响力的。虽然这些语言被选为训练的重点,但该模型还针对其他广泛采用的语言(例如 SQL、PHP 和 Rust)进行了训练。
即使对于最初未包含在训练集中的语言(例如 Lua),Stable Code Instruct 3B 也能提供强大的测试性能。这种熟练程度可能源于其对底层编码原理的理解,以及利用编码任务固有的可预测性,在不同编程环境中适应概念的能力。
Stable Code Instruct 3B 不仅精通代码生成,还精通 FIM(Fill in the Middle)任务、数据库查询、代码翻译、解释和创建。其指令调整使其能够理解并按照细致入微的指令采取行动,促进除简单代码完成之外的广泛编码任务,包括数学理解、逻辑推理和围绕软件开发处理复杂的技术描述。
性能评估
与 Codellama 7B Instruct 和 DeepSeek-Coder Instruct 1.3B 等领先模型相比,Stable Code Instruct 3B 在一系列编码任务中展现出卓越的性能。
研究团队还在 Multi-PL 基准上比较了三种模型。尽管参数量较少,但 Stable Code Instruct 3B 在所有语言上的表现均明显优于 CodeLlama Instruct。
下表 8 展示了几种模型在 FIM 任务上的性能:
实验测试表明,Stable Code Instruct 3B 在代码完成准确性、对自然语言指令的理解以及跨不同编程语言的能力方面可与其他模型媲美甚至超越。
Stable Code Instruct 3B 的参数规模和低硬件要求使其可供广泛的受众使用,使开发人员能够更高效地工作。值得一提的是,Stable Code Instruct 3B 现在可以通过 Stability AI 会员资格用于商业目的。
以上是Stability AI开源3B代码生成模型:可补全,还能Debug的详细内容。更多信息请关注PHP中文网其他相关文章!

经常使用“ AI-Ready劳动力”一词,但是在供应链行业中确实意味着什么? 供应链管理协会(ASCM)首席执行官安倍·埃什肯纳齐(Abe Eshkenazi)表示,它表示能够评论家的专业人员

分散的AI革命正在悄悄地获得动力。 本周五在德克萨斯州奥斯汀,Bittensor最终游戏峰会标志着一个关键的时刻,将分散的AI(DEAI)从理论转变为实际应用。 与闪闪发光的广告不同

企业AI面临数据集成挑战 企业AI的应用面临一项重大挑战:构建能够通过持续学习业务数据来保持准确性和实用性的系统。NeMo微服务通过创建Nvidia所描述的“数据飞轮”来解决这个问题,允许AI系统通过持续接触企业信息和用户互动来保持相关性。 这个新推出的工具包包含五个关键微服务: NeMo Customizer 处理大型语言模型的微调,具有更高的训练吞吐量。 NeMo Evaluator 提供针对自定义基准的AI模型简化评估。 NeMo Guardrails 实施安全控制,以保持合规性和适当的

AI:艺术与设计的未来画卷 人工智能(AI)正以前所未有的方式改变艺术与设计领域,其影响已不仅限于业余爱好者,更深刻地波及专业人士。AI生成的艺术作品和设计方案正在迅速取代传统的素材图片和许多交易性设计活动中的设计师,例如广告、社交媒体图片生成和网页设计。 然而,专业艺术家和设计师也发现AI的实用价值。他们将AI作为辅助工具,探索新的美学可能性,融合不同的风格,创造新颖的视觉效果。AI帮助艺术家和设计师自动化重复性任务,提出不同的设计元素并提供创意输入。 AI支持风格迁移,即将一种图像的风格应用

Zoom最初以其视频会议平台而闻名,它通过创新使用Agentic AI来引领工作场所革命。 最近与Zoom的CTO XD黄的对话揭示了该公司雄心勃勃的愿景。 定义代理AI 黄d

AI会彻底改变教育吗? 这个问题是促使教育者和利益相关者的认真反思。 AI融入教育既提出了机遇和挑战。 正如科技Edvocate的马修·林奇(Matthew Lynch)所指出的那样

美国科学研究和技术发展或将面临挑战,这或许是由于预算削减导致的。据《自然》杂志报道,2025年1月至3月期间,美国科学家申请海外工作的数量比2024年同期增加了32%。此前一项民意调查显示,75%的受访研究人员正在考虑前往欧洲和加拿大寻找工作。 过去几个月,数百项NIH和NSF的拨款被终止,NIH今年的新拨款减少了约23亿美元,下降幅度接近三分之一。泄露的预算提案显示,特朗普政府正在考虑大幅削减科学机构的预算,削减幅度可能高达50%。 基础研究领域的动荡也影响了美国的一大优势:吸引海外人才。35

Openai推出了强大的GPT-4.1系列:一个专为现实世界应用设计的三种高级语言模型家族。 这种巨大的飞跃提供了更快的响应时间,增强的理解和大幅降低了成本


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

螳螂BT
Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

EditPlus 中文破解版
体积小,语法高亮,不支持代码提示功能