Mistral 3.1 vs Gemma 3：哪个更好的模型？

AI景观正在迅速发展，其效率和可扩展性较小，轻巧的模型具有突出性。在Google DeepMind推出了27b模型Gemma 3之后，Mistral AI现在发布了Mistral 3.1轻量级型号的24B参数。这个新的，快速和可定制的模型正在重新定义轻量级模型可以做什么。它可以在单个处理器上有效运行，从而增强了小型团队和组织的速度和可访问性。在此Mistral 3.1对Gemma 3的比较中，我们将探索他们的功能，评估他们在基准测试上的性能，并进行一些动手试验以找出更好的模型。

目录

• 什么是Mistral 3.1？
• 如何访问Mistral 3.1
• 什么是Gemma 3？
• 如何访问Gemma 3
• Mistral Small 3.1 vs Gemma 3：功能比较
• Mistral Small 3.1 vs Gemma 3：性能比较
• Mistral Small 3.1 vs Gemma 3：基准比较
• 结论
• 常见问题

什么是Mistral 3.1？

Mistral 3.1是Mistral AI的最新大型语言模型（LLM），旨在提供具有较低计算要求的高性能。它代表着向紧凑型但功能强大的AI模型的转变，使高级AI功能更易于访问和成本效益。与需要大量资源的大型模型不同，Mistral 3.1平衡可扩展性，速度和负担能力，使其非常适合现实世界应用。

Mistral 3.1的关键特征

• 轻巧且高效：在单个RTX 4090或具有32GB RAM的Mac上平稳运行，非常适合在设备AI解决方案。
• 快速响应对话AI：针对需要快速，准确响应的虚拟助手和聊天机器人进行了优化。
• 低延迟功能调用：支持自动化工作流程和代理系统，以最小的延迟执行功能。
• 微调功能：可以专门用于法律AI，医学诊断和技术支持，从而允许特定领域的专业知识。
• 多模式理解：在图像处理，文档验证，诊断和对象检测方面表现出色，使其在整个行业中具有多功能性。
• 开源和自定义：可提供基础和指示检查点，为高级应用程序提供进一步的下游自定义。

如何访问Mistral 3.1

Mistral 3.1可通过多个平台获得。您可以通过拥抱面部下载并在本地运行，也可以使用Mistral AI API访问它。

1。通过拥抱脸访问Mistral 3.1

您可以下载Mistral 3.1基础和Mistral 3.1指令，以直接使用拥抱脸。这是这样做的方法：

步骤1：每晚安装VLLM

打开您的终端并运行此命令以安装VLLM（这还安装了所需的Mistral_Common软件包）：

 PIP安装vllm -pre -extra-index-url https://wheels.vllm.ai/ightly-upgrade-upgrade

您可以通过运行来验证安装：

 python -c“导入mistral_common; print（mistral_common .__版本__）”

步骤2：准备您的Python脚本

创建一个新的python文件（例如，offline_inference.py）并添加以下代码。确保将model_name变量设置为正确的模型ID（例如，“ mistralai/mistral-small-3.1-24b-instruct-2503”）：

从vllm导入llm
来自vllm.sampling_params导入SamplingParams

＃定义系统提示（您可以根据需要对其进行修改）
system_prompt =“您是一种始终直接回答点的对话代理，始终用猫的ASCII图结束您的准确响应。”

＃定义用户提示
USER_PROMPT =“给我5种非正式的方式来用法语说'后来见'。”

＃设置对话的消息
消息= [
    {“角色”：“系统”，“ content”：system_prompt}，，
    {“角色”：“用户”，“ content”：user_prompt}，，
这是给出的

＃定义模型名称（确保您有足够的GPU内存或在需要时使用量化）
model_name =“ mistralai/mistral-small-3.1-24b-instruct-2503”

＃使用指定模型和令牌模式初始化VLLM的LLM
llm = llm（model = model_name，tokenizer_mode =“ mistral”）

＃设置采样参数（根据需要调整Max_tokens和温度）
Sampling_Params = SamplingParams（MAX_TOKENS = 512，温度= 0.15）

＃脱机模型并获取响应
输出= llm.Chat（消息，Sampling_Params = Sampling_Params）

＃从模型的响应中打印出生成的文本
打印（输出[0] .outputs [0] .TEXT）

步骤3：离线运行脚本

1. 保存脚本。
2. 在保存脚本的目录中打开一个终端。
3. 用以下方式运行脚本
   Python Offline_inference.py

该模型将在本地加载并根据您的提示生成响应。

重要的考虑因素

• 硬件需求：在GPU上完全精确地运行完整的24B型号，通常需要超过60 GB的GPU RAM。如果您的硬件不满足，请考虑：
  • 使用模型的较小或量化版本。
  • 使用具有足够内存的GPU。
• 离线与服务器模式：此代码使用VLLM Python API来离线运行模型（即，完全在您的本地计算机上，而无需设置服务器）。
• 修改提示：您可以更改System_prompt和user_prompt以适合您的需求。对于生产或更高级的用法，您可能需要添加一个系统提示，以帮助指导模型的行为。

2。通过API访问Mistral 3.1

您也可以通过API访问Mistral 3.1。这是为此遵循的步骤。

1. 访问网站：访问Mistral AI登录或登录所有必要的详细信息。

2. 访问API部分：单击“尝试API”以探索可用选项。

3. 导航到API：登录后，单击“ API”以管理或生成新密钥。

4. 选择一个计划：当要求生成API时，请单击“选择计划”以进行API访问。

5. 选择免费的实验计划：单击“免费实验”以无需花费即可尝试API。

6. 注册免费访问：完成注册过程以创建帐户并获得对API的访问。

7. 创建一个新的API键：单击“创建新密钥” ，以生成用于项目的新API键。

8. 配置API键：提供一个键名来轻松识别它。您甚至可以选择设置有效的日期以增加安全性。

9. 最终确定并检索API键：单击“创建新密钥”以生成键。现在，您的API密钥已创建并准备在项目中使用。

您可以将此API密钥集成到应用程序中，以与Mistral 3.1进行交互。

什么是Gemma 3？

Gemma 3是由Google DeepMind设计的最先进的轻便开放模型，可通过有效的资源使用来提供高性能。它基于为Gemini 2.0提供动力的相同研究和技术，它以紧凑的形式提供了高级的AI功能，使其非常适合各种硬件的设备应用程序。 Gemma 3可在1B，4B，12B和27B参数尺寸中提供，使开发人员能够构建快速，可扩展且易于访问的AI驱动解决方案。

Gemma 3的主要特征

• 单个加速器上的高性能：它在LMARENA的评估中优于Llama 3-405b，DeepSeek-V3和O3-Mini，这使其成为每个大小最佳模型之一。
• 多语言功能：支持140多种语言，从而实现AI驱动的全球通信。
• 高级文本和视觉推理：处理图像，文本和简短视频，扩展交互式AI应用程序。
• 扩展的上下文窗口：最多可处理128K代币，可以更深入的见解和长期的内容生成。
• 需要AI工作流的功能：支持自动化和代理体验的结构化输出。
• 优化效率：官方量化版本降低了计算需求而不牺牲准确性。
• 带有ShieldGemma 2的内置安全性：提供图像安全检查，检测危险，明确和暴力内容。

如何访问Gemma 3

Gemma 3在多个平台上很容易访问，例如Google AI工作室，拥抱的脸，Kaggle等。

1。在Google AI Studio上访问Gemma 3

此选项使您可以在预先配置的环境中与Gemma 3进行交互，而无需在自己的机器上安装任何内容。

步骤1：打开您的网络浏览器，然后前往Google AI Studio。

步骤2：使用您的Google帐户登录。如果您没有一个，请创建一个Google帐户。

步骤3：登录后，使用AI Studio中的搜索栏寻找使用“ Gemma 3”的笔记本或演示项目。

提示：寻找标题为“ Gemma 3”的项目，或检查“社区笔记本”部分，经常共享预配置的演示。

步骤4：通过遵循以下步骤启动演示。

• 单击笔记本以打开它。
• 单击“运行”或“启动”按钮以启动交互式会话。
• 笔记本电脑应自动加载Gemma 3模型并提供证明其功能的示例单元格。

步骤5：按照笔记本中的说明开始使用模型。您可以修改输入文本，运行单元格，并实时查看模型的响应，而无需任何本地设置。

2。在拥抱的脸上访问Gemma 3，Kaggle和Ollama

如果您希望在自己的机器上使用Gemma 3或将其集成到项目中，则可以从多个来源下载它。

A.拥抱脸

步骤1：访问拥抱的脸。

步骤2：使用搜索栏键入“ Gemma 3”，然后单击与Gemma 3相对应的模型卡。

步骤3：使用“下载”按钮下载模型或通过Git克隆存储库。

如果您使用的是Python，请安装变形金刚库：

 PIP安装变压器

步骤4：加载并使用代码中的模型。为此，您可以创建一个新的Python脚本（例如Gemma3_demo.py），并添加类似于下面的代码：

从变形金刚导入AutomodelForCausAllm，AutoTokenizer
model_id =“ your-gemma3-model-id”＃替换为拥抱脸部的实际模型ID
型号= automodelforcausallm.from_pretrate（model_id）
tokenizer = autotokenizer.from_pretaining（model_id）

提示=“享用咖啡的最佳方法是什么？”
输入= tokenizer（提示，return_tensors =“ pt”）
输出= model.generate（**输入，max_new_tokens = 50）
print（tokenizer.decode（输出[0]，skip_special_tokens = true））

在本地运行您的脚本以与Gemma 3交互。

B. Kaggle

步骤1：在浏览器中打开Kaggle。

步骤2：使用Kaggle上的搜索栏搜索“ Gemma 3”。查找使用模型的笔记本或数据集。

步骤3：单击相关笔记本以查看Gemma 3的集成方式。您可以在Kaggle的环境中运行笔记本或下载笔记本以在本地计算机上进行研​​究和修改。

C. Ollama

步骤1：访问Ollama并下载Ollama应用程序。

步骤2：在系统上启动Ollama应用程序，并使用内置搜索功能在模型目录中查找“ Gemma 3”。

步骤3：单击Gemma 3型号，然后按照提示下载并安装。安装后，使用Ollama接口通过输入提示和查看响应来测试模型。

通过遵循这些详细的步骤，您可以在Google AI Studio上立即尝试Gemma 3，也可以通过拥抱的脸，Kaggle或Ollama下载它进行开发。选择最适合您的工作流程和硬件设置的方法。

Mistral Small 3.1 vs Gemma 3：功能比较

现在，让我们开始比较，从它们的功能开始。这是基于可用数据的Gemma 3和Mismtral Small 3.1的特征的详细比较：

特征	Mistral Small 3.1	Gemma 3
参数	24b	可在1B，4B，12B和27B变体中使用
上下文窗口	多达128K令牌	多达128K令牌
多模式功能	支持文本和图像输入	支持文本和图像输入
推理速度	更快（每秒150个令牌）	与Mistral相比慢
潜伏期	较低的延迟（0.33到第一个令牌）	较高的延迟
语言支持	支持数十种语言	多语言具有140多种语言
对话风格	干燥的对话风格，但可以通过系统提示来改进	更类似人类和chatgpt风格的回应
推理能力	在MMLU之类的推理任务中，Gemma 3优于Gemma 3	在推理方面表现良好，但效果不佳
开源	是（Apache 2.0许可证）	是的

Mistral Small 3.1 vs Gemma 3：性能比较

在本节中，我们将在某些动手任务中比较Gemma 3和Mismtral 3.1，并查看它们的表现。为了进行公平的比较，我们将在两个模型上尝试相同的提示，以下是我们将要尝试的任务列表：

1. 对象检测
2. 视觉数据提取
3. 视觉数据提取 - 印刷文本

让我们开始。

任务1：对象检测

在此任务中，我们将为模型提供具有动物符号的糖果的图像，并要求他们在糖果上识别动物。

提示： “图像中的动物身份”

输入图像：

输出

Mistral 3.1	Gemma 3
图像中的糖果似乎是M＆M的糖果，其中描绘的动物是乌龟。乌龟设计在蓝色，橙色和绿色糖果上可见。	让我们分析图像中的糖果！糖果上的动物是乌龟。您可以看到一只乌龟的壳，头和腿在表面上清楚地印在地面上。

比较分析

两种模型都正确地将图像中的动物识别为乌龟。但是，Mistral 3.1通过将糖果识别为M＆M，并提及糖果的颜色，提供了其他上下文。同时，Gemma 3以更一般的方式描述了乌龟的外观。

判决：两个模型都成功地识别了对象，但是Mistral 3.1提供了更详细的上下文信息。因此，Mistral 3.1赢得了本轮比赛。

得分： Mistral 3.1：1 |杰玛3：0

任务2：视觉数据提取

为了在其视觉数据提取功能上测试模型，我们将为它们提供飞机的图像，并要求他们从中提取车辆代码。

提示： “车辆上的代码是什么？”

输入图像：

输出：

Mistral 3.1	Gemma 3
车辆上的代码是飞机，是“ D-Eoju”。	根据图像，车辆是塞斯纳172天鹰。尾部上的注册代码为d-eoju。

比较分析：

Mistral 3.1和Gemma 3成功地从飞机上确定了注册代码。但是，Gemma 3不仅确定了代码，而且还添加了额外的详细信息，例如飞机模型。

判决：两种模型都准确提取了代码，但是Gemma 3提供了有关车辆的更多背景详细信息。因此，Gemma 3获得了这一点的重点。

得分： Mistral 3.1：1 |杰玛3：1

任务3：视觉数据提取

对于最后一项任务，我们将向他们提供WiFi收据的图像，并要求他们从中提取WiFi密码。

提示： “什么是密码？”

输入图像：

输出：

Mistral 3.1	Gemma 3
图像中提供的密码为** aaeu **。 这是图像中的信息以清晰： - **用户名：** fqpp - **密码：** AAEU - **流量：** 1 GB - **价格：** 0.00 - **有效性：** 1周 - **开始：**现在 - **共享用户：** 4 - **日期和时间：** 27/02/2019 11:03:15	根据图像，密码为AAEU

比较分析：

两种模型都从图像中准确提取了密码。此外，Mistral 3.1提供了有关用户名，流量，价格，有效性和其他相关信息的额外详细信息，从而使其产出更全面。

判决： Mistral 3.1在提取和呈现结构化数据方面表现更好，提供了更有用的上下文。因此，Mistral 3.1为此任务提供了另一点。

得分： Mistral 3.1：2 |杰玛3：1

最终分数：Mistral 3.1：2 |杰玛3：1

性能比较摘要

这是我们尝试过的任务中两个模型的性能的摘要。

任务	Mistral 3.1性能	Gemma 3性能	优胜者
对象检测	正确地确定了动物（乌龟），并提供了其他背景，并提到糖果是M＆M，并指定了它们的颜色。	正确地将动物识别为乌龟，并描述了其外观，但没有其他上下文细节。	Mistral 3.1
视觉数据提取（车辆代码）	从飞机图像中成功提取了注册代码（“ D-EOJU”）。	准确提取了注册代码，并确定了飞机模型（Cessna 172 Skyhawk）。	Gemma 3
视觉数据提取（印刷文本）	正确提取了WiFi密码，并提供了其他结构化数据，例如用户名，流量，价格，有效性和其他详细信息。	正确提取WiFi密码，但没有提供其他结构化信息。	Mistral 3.1

从这个比较中，我们已经看到Mistral 3.1在结构化数据提取中表现出色，并提供了简洁但有益的响应。同时，Gemma 3在对象识别方面表现良好，在某些情况下提供了更丰富的上下文细节。

对于需要快速，结构化和精确数据提取的任务，Mistral 3.1是更好的选择。对于上下文和其他描述性信息很重要的任务，Gemma 3具有优势。因此，最佳模型取决于特定的用例。

Mistral Small 3.1 vs Gemma 3：基准比较

现在，让我们看看这两个模型在各种标准基准测试中的性能。为了进行此比较，我们将研究测试模型处理文本，多语言内容，多模式内容和长篇小写功能的基准测试。我们还将研究验证的性能基准测试结果。

Gemma 3和Mismtral Small 3.1都是在各种基准测试中进行了评估的著名AI模型。

文本指示基准测试

从图中我们可以看到：

• Mistral 3.1在大多数基准中，尤其是在GPQA Main，GPQA Diamond和MMLU中，始终优于Gemma 3。
• 人类事件和数学在这两种模型中均显示出几乎相同的性能。
• SimpleQA显示出最小的差异，表明这两个模型都在此类别中挣扎。
• Mistral 3.1领导于推理和一般知识任务（MMLU，GPQA），而Gemma 3则与代码相关的基准（Humaneval，Math）紧密竞争。

多模式指示基准

该图在视觉上说明了：

• Mistral 3.1在大多数基准测试中始终优于Gemma 3。
• 有利于Mistral的最大性能差距出现在ChartQA和DOCVQA中。
• Mathvista是最接近的竞争，这两种模型几乎同样表现。
• Gemma 3落后于基于文档的QA任务，但在一般的多模式任务中相对接近。

多语言和长篇小说基准

从图中我们可以看到：

用于多语言性能：

• Mistral 3.1在欧洲和东亚语言中引导。
• 两种模型在中东和平均多语言性能中都很接近。

对于长篇小说处理：

• Mistral在长篇小说任务中的表现高于Gemma 3，尤其是在Ruler 32K和Doler 128K中。
• Gemma 3在Longbench V2中落后更多，但在Ruler 32k中仍然具有竞争力。

预验证的性能基准

从此图中，我们可以看到：

• Mistral 3.1在一般知识，事实召回和推理任务方面始终如一地表现更好。
• Gemma 3在GPQA中大大出现，与Mistral 3.1相比，其性能要低得多。
• Triviaqa是最平衡的基准，两种模型的性能几乎相同。

结论

Mistral 3.1和Gemma 3都是强大的轻量级AI模型，每个模型在不同领域都表现出色。 Mistral 3.1针对速度，低潜伏期和强大的推理功能进行了优化，使其成为实时应用程序（例如聊天机器人，编码和文本生成）的首选选择。其效率和任务专业化进一步增强了对性能驱动的AI任务的吸引力。

另一方面，Gemma 3提供了广泛的多语言支持，多模式功能和竞争性上下文窗口，使其非常适合全球AI应用程序，文档摘要和各种语言的内容生成。但是，与Mistral 3.1相比，它具有一定的速度和效率。

最终，Mistral 3.1和Gemma 3之间的选择取决于特定需求。 Mistral 3.1在性能驱动和实时应用中擅长，而Gemma 3是多语言和多模式AI解决方案的理想选择。

常见问题

Q1。我可以微调Mistral 3.2和Gemma 3吗？

答：是的，您可以对两个型号进行微调。 Mistral 3.1支持法律AI和医疗保健等特定领域的微调。 Gemma 3提供了量化的版本，以优化效率。

Q2。如何在Mistral 3.1和Gemma 3之间进行选择？

答：如果您需要快速的推理，编码和有效的推断，请选择Mistral 3.1。如果您需要多语言支持和文本繁重的应用程序，请选择Gemma 3。

Q3。 Mistral 3.1和Gemma 3之间的架构的主要区别是什么？

A. Mistral 3.1是一种密集的变压器模型，该模型训练了快速推理和强烈的推理，而Gemma 3则在1B，4B，12B和27B参数尺寸中可用，以优化灵活性。

Q4。这些模型是否支持多模式输入？

答：是的，这两个模型都支持视觉和文本处理，使其可用于图像字幕和视觉推理。

Q5。 Mistral 3.1是什么类型的模型？

A. Mistral 3.1是一种致密的变压器模型，旨在快速推理和强有力的推理，使其适用于复杂的NLP任务。

Q6。 Gemma 3的可用尺寸是多少？

A. Gemma 3在1B，4B，12B和27B参数尺寸中可用，可在不同的硬件设置中提供灵活性。

Q7。 Mistral 3.1在基准测试中的优点和缺点是什么？

A. Mistral 3.1以快速推理，强大的NLP理解和资源消耗率低，使其高效。但是，它具有有限的多模式功能，并且在长篇小说任务上的性能比GPT-4稍弱。

以上是Mistral 3.1 vs Gemma 3：哪个更好的模型？的详细内容。更多信息请关注PHP中文网其他相关文章！