Lora

Lora模型训练记录

摘要 主要是为了记录自己再模型微调的过程中遇到的一些问题，和一些参数配置 ，显卡为云端租赁使用 多卡模型训练主要是使用koyha ss的框架修改，并使用deepspeed3进行多卡训练 单卡则是使用的aki的工具包进行lora script的训练 bash config 常见问题 镜像站地址 e...