微調美洲駝3.2並在本地使用：逐步指南

解鎖駱駝的力量3.2：綜合指南和本地部署

大語模型（LLM）的景觀正在迅速發展，重點是較小，更有效的模型。 Llama 3.2憑藉其輕巧和視力模型的變化體現了這一趨勢。本教程詳細介紹瞭如何利用Llama 3.2的功能，特別是3B輕型模型，用於在客戶支持數據集上進行微調以及使用JAN應用程序進行的本地部署。 在潛水之前，強烈鼓勵初學者完成AI基礎知識課程，以掌握LLM和生成AI的基礎。

>作者的圖像

探索駱駝3.2型號

Llama 3.2提供了兩個模型系列：輕量級和視野。輕巧的模型在多語言文本生成和工具使用方面表現出色，非常適合資源受限環境。另一方面，視覺模型專門研究圖像推理和多模式任務。

輕量級模型

輕巧的家族包括1B和3B參數變體。 它們的緊湊型尺寸允許進行設備處理，確保數據隱私和快速，成本效益的文本生成。 這些模型利用修剪和知識蒸餾來提高效率和性能。 3B模型超過了諸如Gemma 2和Phi 3.5-Mini之類的競爭對手，例如諸如教學和摘要之類的任務。

>

來源：Llama 3.2：用開放的，可自定義的模型革命性的邊緣AI和視覺

視覺模型

視覺模型（11b和90b參數）是為圖像推理而設計的，能夠解釋文檔和圖表。 它們的多模式能力源於將預訓練的圖像編碼與語言模型集成在一起。 在視覺理解任務中，他們的表現優於克勞德3 haiku和gpt-4o mini。

來源：Llama 3.2：用開放的，可自定義的模型革命性的邊緣AI和視覺

以深入了解Llama 3.2的架構，基準和安全功能（Llama Guard 3），請參閱《官方Llama 3.2指南》。

>在Kaggle上訪問Llama 3.2

雖然Llama 3.2是開源的，但訪問需要接受條款和條件。 這是通過kaggle訪問它的方法：

1. >請訪問llama.com，填寫訪問表格，選擇輕量級和視覺模型。
>導航到元| Llama 3.2型號頁面上的型號並提交表格。
接受條款和條件。
等待筆記本創建選項。 選擇“變形金剛”選項卡，選擇您的模型變體，然後創建一個新的筆記本。
4. 將加速器配置為“ gpu t4 x2”。
>
5. >使用
。
6. transformers隨後的步驟涉及使用accelerate庫庫加載令牌和模型，指定本地模型目錄，設置%pip install -U transformers accelerate，創建文本生成管道以及使用自定義提示的運行推斷。 隨附的Kaggle筆記本中提供了詳細的代碼示例。 類似的步驟適用於訪問Llama 3.2視覺模型，儘管GPU要求明顯更高。
>微調美洲駝3.2 3b指示

>本節通過微調Llama 3.2 3B指示模型在客戶支持數據集上使用transformers library和Qlora進行有效培訓。

>設置

1. 啟動一個新的Kaggle筆記本和設置環境變量，用於擁抱面部和重量和偏見（WANDB）訪問。
2. 安裝必要的軟件包：transformers，datasets，accelerate，peft，trl，bitsandbytes，wandb和
。
3. >使用您的API鍵登錄以擁抱臉和魔杖。
>
4. >定義基本模型，新模型名稱和數據集名稱的變量。

加載模型和令牌

根據您的GPU功能確定適當的
1. >>>>。 torch_dtype>使用attn_implementation進行4位量化的模型以最大程度地減少內存使用情況。
>
2. 加載令牌。 BitsAndBytesConfig
3. 加載和處理數據集

>加載

。

1. 洗牌並選擇數據的子集（例如，1000個樣本以進行更快的培訓）。 bitext/Bitext-customer-support-llm-chatbot-training-dataset
>通過將系統指令，用戶查詢和助手響應組合到聊天格式中，創建一個“文本”列。
設置模型
3. apply_chat_template
>使用輔助函數識別所有線性模塊名稱。

使用

對lora進行配置。
>設置
2. ，並使用適當的超參數來進行高效培訓。 LoraConfig
創建一個
3. 實例，提供模型，數據集，洛拉配置，培訓參數和令牌。 TrainingArguments>
4. 模型培訓SFTTrainer
使用

訓練模型。 使用WANDB進行監視培訓和驗證損失。

模型推理

trainer.train()>測試使用數據集中的示例提示的微調模型。

>

保存模型

>在本地保存微調模型，然後將其推到擁抱的臉上輪轂。

合併和導出微調模型

>本節詳細介紹了將微調的洛拉適配器與基本型號合併，並將其導出到擁抱的面輪。 它涉及加載基本模型和洛拉適配器，使用

>和

合併它們，然後保存並將合併模型推到集線器。

>轉換為gguf和本地部署

最後，教程將使用GGGUF我的回購工具在擁抱臉部和使用JAN應用程序本地部署它時將合併模型轉換為GGGUF格式。 這涉及下載GGUF文件，將其導入JAN，並設置系統提示並停止令牌以獲得最佳性能。 >

結論

微調較小的LLMS為定制特定任務的模型提供了一種經濟高效且有效的方法。 本教程提供了一個實用指南，以利用Llama 3.2的功能，從訪問和微調到本地部署，使用戶能夠構建和部署自定義AI解決方案。 切記查閱隨附的Kaggle筆記本以獲取詳細的代碼示例。

以上是微調美洲駝3.2並在本地使用：逐步指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！