双语强国Exaone 3.5设定了新的AI标准

LG AI研究揭示了Exaone 3.5：一种强大的多语言大语言模型。 最新的迭代具有增强的AI功能和可访问性，于2024年12月发布。Exaone3.5提供了三种不同的型号尺寸：24亿，78亿和320亿个参数，每个参数都针对不同的性能需求进行了优化 - 从移动应用程序到计算较密集的任务。 它在英语和韩文方面的双语能力，再加上改进的跟踪和长篇小说的理解，将其定位为各个部门的多功能工具。

关键学习点

>掌握Exaone 3.5背后的体系结构和设计选择，包括仅解码器的变压器模型和扩展上下文功能。
>探索其双语优势（英语和韩语）及其对多语言环境的适应性。
了解其两阶段的训练过程，强调了微调如何完善跟踪和长篇小说理解的方式。
>了解高级培训方法，例如数据去污染和直接偏好优化（DPO）。
>分析Exaone 3.5在各种现实世界中的性能，长篇小写处理和一般域任务中的性能。

*本文是*** 数据科学blogathon的一部分。 目录的

>

>基于推理的LLM的功能？

> Exaone 3.5模型体系结构
• Exaone 3.5
的建筑创新
• 了解直接偏好优化（DPO）
• 数据去污染过程
• >性能基准
• >在Google Colab上运行Exaone 3.5（70亿参数模型），通过Ollama
• >带有不同提示的模型测试
• 现实世界应用程序示例
• 结论
• 常见问题
>基于推理的LLM的功能？
• > 基于推理的LLM，例如Exaone 3.5，在需要逻辑推理，解决问题和模式识别的复杂任务上表现出色。 它们基于基于高级变压器的网络，有效地处理顺序数据和广泛的上下文。 在大规模数据集中培训，他们识别信息中的关系，产生准确的响应，解决问题，并精确地按照说明。
>诸如监督微调（SFT）和直接偏好优化（DPO）等技术在各种应用中完善其类似人类的推理能力，从简单到复杂的决策。

Exaone 3.5模型体系结构

Exaone 3.5采用了仅解码器的变压器体系结构，这是现代LLM设计的标准，以其处理顺序数据效率而闻名。该体系结构已优化，可用于遵循指令，确保对用户命令的有效理解和执行。 其三个变体（2.4b，7.8b和32b参数）的关键规格为：

最大上下文长度
• ：32,768令牌
层
• ：32
feedforward dimension
• ：14,336 Exaone 3.5
的建筑创新 Exaone 3.5结合了重大的体系结构改进，增强了其扩展上下文处理并确保准确，用户一致的输出。这些创新重新定义了LLMS中的效率和性能标准。

扩展上下文长度：最大上下文长度（32,768代币）允许有效地处理较大的文本而不会牺牲连贯性。

两阶段训练：
• Exaone 3.5使用了两个阶段的训练过程：通用域培训，然后进行特定于任务的微调，以进行长篇文化的理解。 预培训可以消除重复和个人身份信息，提高绩效并降低基础设施成本。培训后，SFT和DPO增强了跟随指导和用户偏好对齐。>
净化过程：严格的去污过程消除了训练集中的有偏见的数据，从而确保了无偏见的评估。 这涉及将培训数据与评估数据集的迭代比较。
• > 了解直接偏好优化（DPO）
DPO是一种新颖的算法，用于通过将它们与人类的偏好保持一致，绕过传统强化学习的复杂性，是通过将它们与人类的偏好保持一致的。与需要复杂的奖励建模的RLHF不同，DPO使用直接的分类损失简化了该过程，以根据用户偏好优化模型响应。这会导致稳定，高效和计算轻量级训练。 请注意，DPO需要一个包含三重态的偏好数据集（提示，选择答案，拒绝答案）。
• 数据去污染过程 数据净化是通过从训练数据集中删除受污染的示例来改善模型概括的关键过程。 网上爬行的数据通常包含测试集示例，导致评估有偏差。 Exaone 3.5使用基因级匹配方法来识别和删除这些受污染的样品。
这些架构增强功能使Exaone 3.5在实际应用中表现出色，同时保持跨基准的强大性能。

>性能基准

Exaone 3.5模型评估分为三组：

现实世界的用例：
• 评估模型理解和响应实用用户查询的能力。
>长篇文章处理：
• 评估模型从扩展文本中处理和提取信息的能力。
一般域任务：
• 测试数学，编码和基于知识的任务的熟练程度。

>结果显示了Exaone 3.5在这三个类别中的出色表现，通常优于可比较的模型。

>在Google Colab上运行Exaone 3.5（70亿参数模型），通过Ollama

本节详细信息设置并查询使用Ollama上Google Colab上的7b参数Exaone 3.5型号。

（步骤1-4：安装，Ollama设置，模型下载和查询的代码示例在原始文本中提供，并在此处保持不变。

>带有不同提示的模型测试

（用各种提示来测试模型的示例，包括“干草堆中的针头”和“祖先跟踪”任务，在原始文本中提供，并保持在此处保持不变。

现实世界应用程序示例

（现实世界中的示例，包括客户支持，教育协助和逻辑推理任务，在原始文本中提供，并在此处保持不变。 结论

Exaone 3.5代表LLM技术中的一个重大飞跃，为各种应用提供了三个可扩展模型大小。 它的高级体系结构，强大的指导跟踪和多语言功能使其成为研究人员和企业的宝贵工具。 它在基准中的强劲表现，再加上道德AI的发展实践，巩固了其作为领先的LLM的地位。

（关键要点和经常询问的问题部分与原始文本保持不变。）

>注意：映像URL保持不变。

以上是双语强国Exaone 3.5设定了新的AI标准的详细内容。更多信息请关注PHP中文网其他相关文章！