我最近需要对工作中的特定用例进行句子分类。记得 jeremy howard 的第 4 课：针对绝对初学者的 nlp 入门，我首先改编了他的笔记本来微调 deberta。

它有效，但并不令我满意，所以我很好奇如果我使用像 llama 3 这样的 llm 会发生什么。问题是什么？ gpu 资源有限。我只能访问 tesla/nvidia t4 实例。

研究让我找到了 qlora。这个关于使用 qlora 微调 llama 3 llm 进行股票情绪文本分类的教程特别有用。为了更好地理解本教程，我将第 4 课改编成 qlora 教程笔记本。

qlora 使用两种主要技术：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

1. 量化：降低模型精度，使其更小。
2. lora（低阶适应）：添加小型可训练层，而不是微调整个模型。

这使我能够在 16gb vram t4 上训练 llama 3 8b，使用大约 12gb 的 vram。结果出奇的好，预测准确率超过90%。

Confusion Matrix:
[[83  4]
[ 4  9]]
Classification Report:
              precision    recall  f1-score   support
         0.0       0.95      0.95      0.95        87
         1.0       0.69      0.69      0.69        13
    accuracy                           0.92       100
   macro avg       0.82      0.82      0.82       100
weighted avg       0.92      0.92      0.92       100
Balanced Accuracy Score: 0.8231653404067196
Accuracy Score: 0.92

这是详细介绍该过程的 ipython 笔记本。

这种方法表明可以在有限的硬件上使用大型语言模型。在限制条件下工作通常会带来创造性的问题解决和学习机会。在这种情况下，这些限制促使我去探索和实施更高效的微调技术。