搜索
首页科技周边人工智能无条件免费商用的全球最长开源模型XVERSE-Long-256K

元象发布了全球首个上下文窗口长度256K的开源大模型XVERSE-Long-256K。这个模型支持输入25万汉字,使得大模型应用能够进入“长文本时代”。该模型完全开源,可以无条件免费商用,并且还附带有详细的手把手训练教程,这让海量的中小企业、研究者和开发者能够更早地实现“大模型自由”。

无条件免费商用的全球最长开源模型XVERSE-Long-256K全球主流长文本大模型图谱

参数量和高质量数据量决定了大模型的计算复杂度,而长文本技术(Long Context)是大模型应用发展“杀手锏”,因技术新、研发难度高,目前多为闭源付费提供。

 XVERSE-Long-256K支持超长文本输入,可用于大规模数据分析、多文档阅读理解、跨领域知识融合,有效提升大模型应用的深度与广度:一、为律师、金融分析师或咨询师、prompt 工程师、科研人员等解决分析处理较长文本的工作;二、在角色扮演或聊天应用中,缓解模型“忘记”之前对话的记忆力问题,或胡说八道的“幻觉”问题等;三、更好支持智能体(AI Agent)基于历史信息进行规划和决策;四、帮助AI原生应用保持连贯、个性化的用户体验。


至此,XVERSE-Long-256K填补了开源生态空白,还与元象此前70亿、130亿、650亿参数大模型组成“高性能全家桶”,将国产开源提升至国际一流水平。
无条件免费商用的全球最长开源模型XVERSE-Long-256K元象大模型系列

免费下载元象大模型

  • GitHub:https://github.com/xverse-ai/XVERSE-13B
  • hugging face:https://huggingface.co/xverse/XVERSE-13B-256K
  • 魔搭:https://modelscope.cn/models/xverse/XVERSE-13B-256K
  • 问询发送:opensource@xverse.cn

用户可登录大模型官网(chat.xverse.cn)或小程序即刻体验 XVERSE-Long-256K。

 高性能定位评测表现出色
为确保业界对元象大模型有全面、客观和长期的认知,研究人员参考权威行业测评,制定了六个维度的9项综合测评体系。XVERSE-Long-256K 均表现出色,超越其他长文本模型。
 无条件免费商用的全球最长开源模型XVERSE-Long-256K全球主流长文本开源大模型评测结果 

XVERSE-Long-256K 通过了常见的长文本大模型性能压力测试“大海捞针”。该测试在长文本语料中隐藏一个与其内容无关的句子,并通过自然语言提问让大模型准确提取该句子。

长篇小说 阅读理解

目前国内大多数大型模型只支持中英双语,但元象支持40多种语言。我们对16万字符的俄语经典小说《钢铁是怎样炼成的》和41万字符的德语历史传记《人类群星闪耀时》进行了测试。

无条件免费商用的全球最长开源模型XVERSE-Long-256K《钢铁是怎样炼成的(俄文版)》测试 无条件免费商用的全球最长开源模型XVERSE-Long-256K

《人类群星闪耀时(德文版)》测试

法律法条 精准应用

以《中华人民共和国民法典》为例,展示对法律术语的解释,以及对案例进行逻辑分析、结合实际的灵活应用:

无条件免费商用的全球最长开源模型XVERSE-Long-256K无条件免费商用的全球最长开源模型XVERSE-Long-256K无条件免费商用的全球最长开源模型XVERSE-Long-256K《民法典》测试 

手把手教你训练长文本大模型
 

 1.  技术挑战

  1. 模型训练:GPU显存的占用与序列长度的平方成正比,使训练量急剧上升。
  2. 模型结构:序列越长,模型的attention越分散,模型越容易忘记前序内容。
  3. 推理速度:模型序列越长,将大幅度降低模型推理速度。

 2. 元象技术路线
长文本大模型技术是在近一年内发展出来的新技术,其主要技术方案为:

  1. 直接进行长序列的预训练,但会导致训练量成平方倍的提升。
  2. 通过位置编码的插值或外推拓展序列长度,这种方法会降低位置编码的分辨率,从而降低大模型输出效果。

无条件免费商用的全球最长开源模型XVERSE-Long-256K

元象长文本大模型训练流程

第一阶段:ABF+继续预训练

  • GitHub:https://github.com/xverse-ai/XVERSE-13B
  • hugging face:https://huggingface.co/xverse/XVERSE-13B-256K
  • 魔搭:https://modelscope.cn/models/xverse/XVERSE-13B-256K
  • 问询发送:opensource@xverse.cn

以上是无条件免费商用的全球最长开源模型XVERSE-Long-256K的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:机器之心。如有侵权,请联系admin@php.cn删除
在LLMS中调用工具在LLMS中调用工具Apr 14, 2025 am 11:28 AM

大型语言模型(LLMS)的流行激增,工具称呼功能极大地扩展了其功能,而不是简单的文本生成。 现在,LLM可以处理复杂的自动化任务,例如Dynamic UI创建和自主a

多动症游戏,健康工具和AI聊天机器人如何改变全球健康多动症游戏,健康工具和AI聊天机器人如何改变全球健康Apr 14, 2025 am 11:27 AM

视频游戏可以缓解焦虑,建立焦点或支持多动症的孩子吗? 随着医疗保健在全球范围内挑战,尤其是在青年中的挑战,创新者正在转向一种不太可能的工具:视频游戏。现在是世界上最大的娱乐印度河之一

没有关于AI的投入:获胜者,失败者和机遇没有关于AI的投入:获胜者,失败者和机遇Apr 14, 2025 am 11:25 AM

“历史表明,尽管技术进步推动了经济增长,但它并不能自行确保公平的收入分配或促进包容性人类发展,”乌托德秘书长Rebeca Grynspan在序言中写道。

通过生成AI学习谈判技巧通过生成AI学习谈判技巧Apr 14, 2025 am 11:23 AM

易于使用,使用生成的AI作为您的谈判导师和陪练伙伴。 让我们来谈谈。 对创新AI突破的这种分析是我正在进行的《福布斯》列的最新覆盖范围的一部分,包括识别和解释

泰德(Ted)从Openai,Google,Meta透露出庭,与我自己自拍泰德(Ted)从Openai,Google,Meta透露出庭,与我自己自拍Apr 14, 2025 am 11:22 AM

在温哥华举行的TED2025会议昨天在4月11日举行了第36版。它有来自60多个国家 /地区的80个发言人,包括Sam Altman,Eric Sc​​hmidt和Palmer Luckey。泰德(Ted)的主题“人类重新构想”是量身定制的

约瑟夫·斯蒂格利兹(Joseph Stiglitz约瑟夫·斯蒂格利兹(Joseph StiglitzApr 14, 2025 am 11:21 AM

约瑟夫·斯蒂格利茨(Joseph Stiglitz)是2001年著名的经济学家,是诺贝尔经济奖的获得者。斯蒂格利茨认为,AI可能会使现有的不平等和合并权力恶化,并在几个主导公司的手中加剧,最终破坏了经济的经济。

什么是图形数据库?什么是图形数据库?Apr 14, 2025 am 11:19 AM

图数据库:通过关系彻底改变数据管理 随着数据的扩展及其特征在各个字段中的发展,图形数据库正在作为管理互连数据的变革解决方案的出现。与传统不同

LLM路由:策略,技术和Python实施LLM路由:策略,技术和Python实施Apr 14, 2025 am 11:14 AM

大型语言模型(LLM)路由:通过智​​能任务分配优化性能 LLM的快速发展的景观呈现出各种各样的模型,每个模型都具有独特的优势和劣势。 有些在创意内容gen上表现出色

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
4 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
4 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
1 个月前By尊渡假赌尊渡假赌尊渡假赌

热工具

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具