实验表明，QLoRA技术使得研究者能够在单个48GB GPU上微调650亿个参数规模的模型，同时维持16bit精度任务的完整性能。例如，在训练Guanaco模型时，仅需在单个GPU上微调24h，即可达到与ChatGPT相当的99.3%性能水平。通过QLoRA微调技术，可以有效降低模型微调时的显存 ...