元象发布了全球首个上下文窗口长度256K的开源大模型XVERSE-Long-256K。这个模型支持输入25万汉字,使得大模型应用能够进入“长文本时代”。该模型完全开源,可以无条件免费商用,并且还附带有详细的手把手训练教程,这让海量的中小企业、研究者和开发者能够更早地实现“大模型自由”。
全球主流长文本大模型图谱
参数量和高质量数据量决定了大模型的计算复杂度,而长文本技术(Long Context)是大模型应用发展“杀手锏”,因技术新、研发难度高,目前多为闭源付费提供。
XVERSE-Long-256K支持超长文本输入,可用于大规模数据分析、多文档阅读理解、跨领域知识融合,有效提升大模型应用的深度与广度:一、为律师、金融分析师或咨询师、prompt 工程师、科研人员等解决分析处理较长文本的工作;二、在角色扮演或聊天应用中,缓解模型“忘记”之前对话的记忆力问题,或胡说八道的“幻觉”问题等;三、更好支持智能体(AI Agent)基于历史信息进行规划和决策;四、帮助AI原生应用保持连贯、个性化的用户体验。
至此,XVERSE-Long-256K填补了开源生态空白,还与元象此前70亿、130亿、650亿参数大模型组成“高性能全家桶”,将国产开源提升至国际一流水平。元象大模型系列
免费下载元象大模型
- GitHub:https://github.com/xverse-ai/XVERSE-13B
- hugging face:https://huggingface.co/xverse/XVERSE-13B-256K
- 魔搭:https://modelscope.cn/models/xverse/XVERSE-13B-256K
- 问询发送:opensource@xverse.cn
用户可登录大模型官网(chat.xverse.cn)或小程序即刻体验 XVERSE-Long-256K。
高性能定位评测表现出色
为确保业界对元象大模型有全面、客观和长期的认知,研究人员参考权威行业测评,制定了六个维度的9项综合测评体系。XVERSE-Long-256K 均表现出色,超越其他长文本模型。
全球主流长文本开源大模型评测结果
XVERSE-Long-256K 通过了常见的长文本大模型性能压力测试“大海捞针”。该测试在长文本语料中隐藏一个与其内容无关的句子,并通过自然语言提问让大模型准确提取该句子。
长篇小说 阅读理解
目前国内大多数大型模型只支持中英双语,但元象支持40多种语言。我们对16万字符的俄语经典小说《钢铁是怎样炼成的》和41万字符的德语历史传记《人类群星闪耀时》进行了测试。
《钢铁是怎样炼成的(俄文版)》测试
《人类群星闪耀时(德文版)》测试
法律法条 精准应用
以《中华人民共和国民法典》为例,展示对法律术语的解释,以及对案例进行逻辑分析、结合实际的灵活应用:
《民法典》测试
手把手教你训练长文本大模型
1. 技术挑战
- 模型训练:GPU显存的占用与序列长度的平方成正比,使训练量急剧上升。
- 模型结构:序列越长,模型的attention越分散,模型越容易忘记前序内容。
- 推理速度:模型序列越长,将大幅度降低模型推理速度。
2. 元象技术路线
长文本大模型技术是在近一年内发展出来的新技术,其主要技术方案为:
- 直接进行长序列的预训练,但会导致训练量成平方倍的提升。
- 通过位置编码的插值或外推拓展序列长度,这种方法会降低位置编码的分辨率,从而降低大模型输出效果。
元象长文本大模型训练流程
第一阶段:ABF+继续预训练
- GitHub:https://github.com/xverse-ai/XVERSE-13B
- hugging face:https://huggingface.co/xverse/XVERSE-13B-256K
- 魔搭:https://modelscope.cn/models/xverse/XVERSE-13B-256K
- 问询发送:opensource@xverse.cn
以上是无条件免费商用的全球最长开源模型XVERSE-Long-256K的详细内容。更多信息请关注PHP中文网其他相关文章!

大型语言模型(LLMS)的流行激增,工具称呼功能极大地扩展了其功能,而不是简单的文本生成。 现在,LLM可以处理复杂的自动化任务,例如Dynamic UI创建和自主a

视频游戏可以缓解焦虑,建立焦点或支持多动症的孩子吗? 随着医疗保健在全球范围内挑战,尤其是在青年中的挑战,创新者正在转向一种不太可能的工具:视频游戏。现在是世界上最大的娱乐印度河之一

“历史表明,尽管技术进步推动了经济增长,但它并不能自行确保公平的收入分配或促进包容性人类发展,”乌托德秘书长Rebeca Grynspan在序言中写道。

易于使用,使用生成的AI作为您的谈判导师和陪练伙伴。 让我们来谈谈。 对创新AI突破的这种分析是我正在进行的《福布斯》列的最新覆盖范围的一部分,包括识别和解释

在温哥华举行的TED2025会议昨天在4月11日举行了第36版。它有来自60多个国家 /地区的80个发言人,包括Sam Altman,Eric Schmidt和Palmer Luckey。泰德(Ted)的主题“人类重新构想”是量身定制的

约瑟夫·斯蒂格利茨(Joseph Stiglitz)是2001年著名的经济学家,是诺贝尔经济奖的获得者。斯蒂格利茨认为,AI可能会使现有的不平等和合并权力恶化,并在几个主导公司的手中加剧,最终破坏了经济的经济。

图数据库:通过关系彻底改变数据管理 随着数据的扩展及其特征在各个字段中的发展,图形数据库正在作为管理互连数据的变革解决方案的出现。与传统不同

大型语言模型(LLM)路由:通过智能任务分配优化性能 LLM的快速发展的景观呈现出各种各样的模型,每个模型都具有独特的优势和劣势。 有些在创意内容gen上表现出色


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

SublimeText3 英文版
推荐:为Win版本,支持代码提示!

安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境

Dreamweaver Mac版
视觉化网页开发工具

Dreamweaver CS6
视觉化网页开发工具