Что такое LoRA (Low-Rank Adaptation)

LoRA — эффективный метод дообучения больших моделей, при котором обновляются не все параметры, а только небольшие низкоранговые матрицы, добавленные к исходным весам. Это сокращает объём обучаемых параметров в сотни раз и позволяет fine-tuning на потребительском GPU. LoRA-адаптеры занимают мегабайты вместо гигабайт и легко переключаются между задачами. QLoRA — усовершенствованная версия с квантизацией, требующая ещё меньше памяти.