需训练专属lora模型以提升ai绘画对特定人物、物品或风格的还原度;步骤包括准备高质量多角度素材、批量反推优化提示词标签、配置kohya_ss训练环境、设置关键参数启动训练、验证部署效果。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您希望AI绘画生成高度还原特定人物、物品或风格的图像,但当前模型无法稳定输出目标特征,则可能是由于缺乏针对性微调。以下是训练专属LoRA模型的具体步骤:
一、准备高质量训练素材
训练效果高度依赖原始图像质量与多样性,需确保素材能覆盖目标对象的关键视觉维度,避免因信息缺失导致泛化失败。
1、收集20–50张清晰正面及多角度图像,重点突出五官、轮廓、纹理等可辨识特征。
2、统一裁切为512×512或512×768分辨率,所有尺寸必须为64的整数倍。
3、背景尽量简洁或纯白,避免干扰模型对主体的学习。
4、命名所有文件夹与子文件夹为全英文,禁止使用中文、空格或特殊符号。
二、批量反推并优化提示词标签
每张图像需对应一组精准描述性标签(Tags),用于指导模型理解图像内容;自动反推可大幅降低人工标注成本,但需人工校验修正。
1、打开Stable Diffusion WebUI,进入“Tag反推-批量操作”界面。
2、在输入目录填入图片所在路径,输出目录设为同一文件夹。
3、选择wd14-vit-v2模型,点击“开始反推”,等待全部txt文件生成。
4、逐个打开txt文件,删除冗余、错误或无关标签,保留如portrait, front view, high detail, sharp focus等强相关描述。
三、配置kohya_ss训练环境
kohya_ss是目前最主流的LoRA训练工具,提供图形化参数界面与完整预处理链路,适配Windows平台且对消费级显卡友好。
1、安装Python 3.10(勾选Add PATH选项),安装Git与Visual Studio Redistributable。
2、以管理员身份运行PowerShell,执行:Set-ExecutionPolicy -ExecutionPolicy RemoteSigned,按[A]确认。
3、执行命令:git clone https://github.com/bmaltais/kohya_ss.git,进入目录后运行setup.bat。
4、脚本完成后,双击launch_gui.bat启动图形界面。
四、设置训练参数并启动训练
参数设定直接影响模型收敛速度与最终表现力,需根据硬件显存与训练目标动态平衡学习率、批次大小与训练轮数。
1、在“Training Config”中指定模型路径:选择基础大模型(如sdxl_unet.safetensors或v1-5-pruned-emaonly.safetensors)。
2、设置LoRA权重路径:新建models\loras\下自定义英文名文件夹,如my_character。
3、在“Dataset Config”中填入训练图片文件夹路径,并勾选“Cache Latents”与“Flip Augmentation”提升鲁棒性。
4、关键参数设定:Network Dim=128, Network Alpha=64, Learning Rate=1e-4, Epoch=10, Batch Size=2。
5、点击“Train LoRA”,等待控制台输出loss值持续下降且无报错即表示训练正常进行。
五、验证与部署LoRA模型
训练完成后的.safetensors文件需经实际推理测试,确认其是否准确响应触发词并保持原有模型稳定性。
1、将生成的LoRA文件复制至WebUI的models\loras\目录下。
2、重启WebUI,在正向提示词中加入
3、添加基础描述如masterpiece, best quality, portrait, front view,避免仅依赖LoRA单独生效。
4、生成图像后比对原始素材,检查面部结构、发型、服饰细节是否一致,若出现扭曲或特征丢失,需回溯调整训练轮数或标签精度。











