Llama 3.1 vs Llama 3：哪个更好？

Meta的Llama 3.1 70b和Llama 3 70b：详细的比较

Meta最近发布了Llama 3.1，包括70B参数模型，以及较大和较小的变体。此次升级是在三个月前的Llama 3发布之后发布的。尽管Llama 3.1 405B在各种基准中的GPT-4和Claude 3 Opus的性能都具有出色的性能，但其生成速度较慢，TTFT较高（首先是标记时间）可能会限制其对许多应用程序的实用性。这使Llama 3.1 70B成为寻求准备生产或自托模型的开发人员的引人入胜的替代方案。但是，它如何与其前任Llama 3 70B相抵触？

该分析比较Llama 3.1 70B和Llama 3 70B，检查了不同用例的性能，效率和适用性，以帮助您选择合适的模型。

一目了然的关键差异：

特征	骆驼3.1 70b	骆驼3 70B
参数	700亿	700亿
定价	$ 0.9/100万令牌	$ 0.9/100万令牌
上下文窗口	128K	8k
最大输出令牌	4096	2048
知识截止	2023年12月	2023年12月

Llama 3.1 70B的增强：

Llama 3.1 70B的最显着改进是其扩展的上下文窗口（128K与8K），并翻了一番，最大输出令牌（4096 vs. 2048）。这大大提高了其处理复杂，长格式任务的能力。

基准性能：

基准	骆驼3.1 70b	骆驼3 70B
mmlu	86	82
GSM8K	95.1	93
数学	68	50.4
人类	80.5	81.7

Llama 3.1 70b通常优于Llama 3 70b，尤其是在数学推理（数学）中。但是，人类事件显示编码性能略有下降。

速度和效率：

对关键字的测试AI的模型游乐场显示出明显的速度差异：

• 潜伏期：美洲驼3 70b（4.75s）的速度要比Llama 3.1 70b（13.85s）快得多。
• TTFT： Llama 3 70b（0.32s）显示出比Llama 3.1 70b（0.60s）的实质性优势。
• 吞吐量： Llama 3 70b（114个令牌/秒）多倍以多倍的五倍（50标记/秒）的吞吐量。

这些结果突出了Llama 3 70B在实时应用中的优势。

跨任务的性能（关键字AI测试）：

• 编码：这两种模型都表现良好，但是Llama 3 70B通常会产生更简洁且可读的代码。
• 文档处理：两者都达到了很高的精度，但是Llama 3 70b要快得多，仅受其较小的上下文窗口（8-10页）的限制。 Llama 3.1 70B有效地处理了更长的文档，尽管较慢。
• 逻辑推理：美洲驼3.1 70b明显胜过骆驼3 70b。

模型建议：

• Llama 3.1 70b：理想的长形式内容，复杂的文档分析和需要广泛背景的任务。不适合时间敏感的应用。
• Llama 3 70b：最适合实时互动，快速响应，有效的编码和较短的文档。对于很长的文档或复杂的推理而言，这并不理想。

选择正确的模型：

关键字AI提供了一个平台，可以轻松测试和比较包括Llama 3.1和Llama 3在内的许多LLM。这可以在进行特定模型之前进行直接性能比较。 [关键字的图像AI比较工具将进入此处]

结论：

最佳选择完全取决于您的特定应用程序要求。优先考虑Llama 3.1 70B，用于需要大的上下文窗口的复杂任务，而Llama 3 70B，以实时或更简单的应用程序中的速度和效率。在做出决定之前，利用诸如关键字AI之类的平台来有效评估这两个模型。

以上是Llama 3.1 vs Llama 3：哪个更好？的详细内容。更多信息请关注PHP中文网其他相关文章！