LoRA
ia
Low-Rank Adaptation: técnica de fine-tuning eficiente que treina pequenas matrizes adicionais em vez de todos os pesos do modelo, cortando drasticamente custo e memória.
LoRA (Low-Rank Adaptation) é a técnica que tornou o fine-tuning de grandes modelos viável fora dos laboratórios gigantes. Em vez de reajustar todos os bilhões de pesos do modelo (caro e pesado), o LoRA congela o modelo original e treina apenas pequenas matrizes de baixo posto (“low-rank”) injetadas nas camadas.
Por que é um divisor de águas:
- Barato: treina uma fração dos parâmetros — dá para fazer em uma única GPU.
- Leve: o “adapter” resultante tem poucos MB, fácil de versionar e trocar.
- Modular: você mantém vários adapters especializados sobre o mesmo modelo base.
É o representante mais famoso do PEFT (Parameter-Efficient Fine-Tuning). A variação QLoRA adiciona quantização para economizar ainda mais memória.