如何微调GPT 3.5：解锁AI的全部潜力

OpenAI的最新语言模型GPT-3.5 Turbo代表了大型语言模型功能的一个重大飞跃。 GPT-3.5 Turbo建立在GPT-3模型家族的基础上，可以产生非常类似于人类的文本，同时比以前的版本更实惠和更容易获得。但是，GPT-3.5 Turbo的真正力量在于它通过称为微调的过程来定制的能力。

微调使开发人员可以携带自己的数据以使模型适应特定的用例，并显着提高专业任务的性能。通过微调，GPT-3.5 Turbo在某些狭窄的应用中甚至已经匹配或超过GPT-4。

>这种新的自定义级别释放了企业和开发人员部署GPT-3.5 Turbo的潜力，以创建量身定制的高性能AI应用程序。随着GPT-3.5 Turbo和今年晚些时候更强大的GPT-4的微调可用，我们站在Applied AI的新时代的风口浪尖。

为什么要微调语言模型？

>

>微调已成为从GPT-3.5 Turbo等大型语言模型中获得最大收益的关键技术。例如，我们有一个单独的指南，以微调GPT-3。

>预先训练的模型可以从开箱即用产生非常类似的人类文本，但通过微调来解锁其真正的功能。该过程使开发人员可以通过对特定于域的数据进行训练来自定义该模型，从而将其调整为专用用例，而不是通用培训可以实现的。微调改善了模型的利基应用程序的相关性，准确性和性能。

特定用例的自定义

微调使开发人员可以自定义模型以创建独特的和差异化的体验，从而满足特定的要求和域。通过对特定于域数据的模型训练模型，它可以为该利基生成更相关和准确的输出。这种自定义级别使企业能够构建量身定制的AI应用程序。

>

提高了可恢复性和可靠性

>微调提高了模型遵循说明并产生可靠，一致的输出格式的能力。通过对格式化数据进行培训，该模型了解了所需的结构和样式，从而提高了可识别性。这将导致更可预测和可控的输出。

>

增强性能

>微调可以显着提高模型性能，即使允许在某些专业任务上进行微调的GPT-3.5 Turbo匹配或超过GPT-4功能。通过优化狭窄域的模型，它与通才模型相比，它在利基问题空间中取得了卓越的结果。微调的性能提升是很大的。

>在12个GPT-4开源替代方案上查看我们的指南，该替代方案探讨了一些可以提供类似性能的工具，并且需要更少的计算资源来运行。

微调gpt 3.5-turbo

的影响 在OpenAI进行的Beta测试中，他们观察到，对模型进行微调的客户在各种标准应用程序的性能方面都有明显的增强。这是一些关键要点：

1。增强的可指导性

通过微调，公司可以更好地指导模型遵守某些准则。例如，如果公司想要简洁的响应或需要模型始终用特定语言回复，那么微调可以帮助实现这一目标。一个经典的例子是，开发人员可以在要求时调整模型以始终如一地用德语回复。

>

2。一致的响应结构

微调的杰出好处之一是它的能力使模型的输出更加均匀。这对于需要特定响应结构（例如代码建议或生成API交互）的任务特别有价值。例如，通过微调，开发人员可以信任该模型将用户查询转换为与其系统兼容的质量JSON格式。

3。个性化音调

可以使用微调来使模型的响应与公司的独特声音或风格更加紧密地保持一致。具有独特品牌声音的公司可以利用此功能来确保模型的基调与其品牌的本质相匹配。 微调

的先决条件 通过在您自己的数据上继续培训过程，

微调允许自定义预训练的语言模型，例如GPT-3.5 Turbo。这使该模型适应您的特定用例，并大大提高了其性能。

开始微调，您首先需要访问OpenAI API。在OpenAI网站上注册后，您可以获取一个API密钥，使您能够与API和模型进行交互。

>

接下来，您需要准备一个数据集进行微调。这涉及策划文本提示的示例和所需的模型响应。数据应匹配您的应用程序将使用该模型的格式。清洁和格式化到所需的JSONL结构中也很重要。

>

OpenAI CLI提供了有用的工具来验证和预处理您的培训数据。

>一旦验证，您就可以将数据上传到OpenAI服务器。

>最后，您通过API启动微调作业，选择基本GPT-3.5

>涡轮模型并传递培训数据文件。微调过程可能需要数小时或几天，具体取决于数据大小。您可以通过API监视培训进度。

>如何微调Openai GPT 3.5-Turbo型号：逐步指南

> OpenAI最近发布了用于微调语言模型的UI接口。在本教程中，我将使用OpenAI UI创建一个微调的GPT模型。要跟随这一部分，您必须拥有一个OpenAI帐户和钥匙。

>

1。登录到platform.openai.com

2。准备数据

>用于演示，我已经策划了一个小问题答案数据集，目前将其存储为pandas dataframe。

只是为了展示我的所作所为，我以莎士比亚风格创建了50个机器学习问题及其答案。通过这项微调工作，我个性化GPT3.5-Turbo模型的风格和音调。

>即使不是一个非常实用的用例，您可能会在提示中简单地添加“莎士比亚风格的答案”，但GPT3.5肯定会意识到莎士比亚，并且会以所需的音调产生答案。

对于OpenAI，数据必须以JSONL格式为JSONL。 JSONL是一种格式，其中每行都是有效的JSON对象，被Newlines隔开。我写了一个简单的代码将pd.dataframe转换为jsonl。

这是我的JSONL文件的样子：

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")

3。创建微调作业

>前往platform.openai.com并在顶部菜单中导航到微调，然后单击“创建新”。

选择基本模型。截至目前，只有3种型号可用于微调（Babbage-002，Davinci-002，GPT-3.5-Turbo-0613）。

接下来，只需上传JSONL文件，命名作业名称，然后单击创建。 根据数据集的大小，调整作业可能需要几个小时甚至几天。在我的示例中，数据集只有5,500个令牌，经过6个小时的微调。这项工作的成本微不足道（＆lt; $ 1 = 5,500/1000 x $ 0.08）。

>

本教程显示了如何使用UI微调GPT模型。如果您想学习如何使用API​​学习相同的事情，请使用DataCamp上的Zoumana Keita使用OpenAI API和Python教程查看微调GPT-3。

4。使用微调模型

调整作业完成后，您现在可以通过API进行微调模型或在Platform.openai.com上使用可用的操场。

请注意，在模型下拉下，现在有一个个人3.5-Turbo可供选择。让我们尝试一下。

注意响应的语气和风格。

如果您想学习如何与OpenAi Python软件包合作以与Chatgpt进行对话，请在Datacamp上的Python博客中使用OpenAI API查看GPT-3.5和GPT-4。

安全和隐私

OpenAi认真对待安全性，并在发布新模型之前具有严格的过程，包括测试，专家反馈，改善模型行为和监视系统的技术。他们的目的是使强大的AI系统有益并最大程度地降低可预见的风险。

>

微调允许自定义诸如GPT-3.5 Turbo之类的型号，同时保留重要的安全功能。 OpenAI在多个级别采用干预措施 - 测量，模型更改，策略，监视 - 以减轻风险和对齐模型。

OpenAi从可行的培训数据中删除了个人信息，并制定了不针对与私人信息产生内容的政策。这可以最大程度地减少隐私风险。

对于没有敏感数据的常见用例，可以安全地利用OpenAI模型。但是，对于专有或受监管的数据，可能会优选诸如数据混淆，私人AI处理器或内部模型之类的选项。

>

微调GPT 3.5-Turbo

的成本

>与微调和使用微调的GPT 3.5-Turbo型号相关的三个费用。

培训数据准备。这涉及策划文本提示的数据集，并根据您的特定用例量身定制的所需响应。成本将取决于源和格式化数据所需的时间和精力。>
1. > >初始培训成本。这是根据培训数据的代币收取的。 100,000个令牌培训套件的每1000个令牌为$ 0.008，初始微调的费用为$ 800。 >
>正在进行的用法成本。
2. 对于输入提示和模型输出，每个令牌均已收取这些费用。每1,000美元的输入令牌$ 0.012和每1,000美元的输出令牌$ 0.016，成本可以迅速增加，具体取决于申请使用情况。>
让我们看看使用成本方案的示例：
3. Chatbot with 4,000 token prompts/responses, 1,000 interactions per day:
(4,000/1000) input tokens x $0.012 x 1,000 interactions = $48 per day

(4,000/1000) output tokens x $0.016 x 1,000 interactions = $64 per day

Total = $112 per day or $3,360 per month

• 
  >文本摘要API，带有2,000个令牌输入，每天500个请求：（2,000/1000）输入令牌x $ 0.012 x 500请求= $ 12每天
  （2,000/1000）输出令牌x $ 0.016 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500
  
注意：令牌除以1000，因为每1k代币引用了openai定价。

>学习如何在现实生活中的端到端数据科学项目中使用chatgpt。查看使用CHATGPT进行数据科学项目的指南，以了解如何使用ChatGpt进行项目计划，数据分析，数据预处理，模型选择，超参数调整，开发Web应用程序并将其部署在空间上。

>>>>>>

结论

当我们深入研究大型语言模型功能的边界时，GPT-3.5 Turbo不仅脱颖而出，不仅是其类似人类的文字生成，而且还因为通过微调而解锁的变革潜力。此自定义过程使开发人员可以磨练模型的能力以适合利基应用程序，从而取得了卓越的结果，甚至可以匹配或超过其在专业领域中的继任者。

>在对应用程序进行微调以符合不同要求的应用程序中，指导性，响应结构和音调个性化的增强功能是显而易见的，从而使企业能够带来独特的AI驱动体验。但是，拥有强大的力量带来了巨大的责任。在实施生成的AI和语言模型时，了解相关成本并注意安全和隐私注意事项至关重要。

>使用数据科学的ChatGPT备忘单提示60个CHATGPT提示数据科学任务。

以上是如何微调GPT 3.5：解锁AI的全部潜力的详细内容。更多信息请关注PHP中文网其他相关文章！