LoRA Fine-Tune

Low-Rank Adaptation (LoRA) adapta um modelo a uma tarefa com o treinamento de um conjunto pequeno de pesos adicionais, em vez de retreinar o modelo inteiro. LoRA Fine-Tune aplica esse método a modelos suportados na infraestrutura da Azion, como uma extensão de AI Inference. LoRA se aplica a alguns modelos e não a outros, e a página de cada modelo declara qual é o caso.

Modelos suportados

A tabela lista todos os modelos que AI Inference executa, com o que a própria página do modelo declara sobre LoRA. Sim e Não repetem essa declaração. Um traço significa que a página não declara valor, o que não é o mesmo que um Não.

Para conhecer a categoria, o id, o comprimento do contexto e os tipos de entrada de um modelo desta tabela, consulte Modelos de AI.

Relação com AI Inference

LoRA Fine-Tune é um produto próprio da Azion, e o produto que ele estende é AI Inference. AI Inference suporta LoRA por meio de um add-on, e a adaptação é executada na infraestrutura da Azion, sem infraestrutura para você provisionar ou gerenciar. Você é responsável pelos dados de treinamento, pelas entradas e saídas do modelo e pela licença de terceiros do modelo que você adapta.

Métricas de cobrança

LoRA Fine-Tune é cobrado por duas métricas, Compute Time e Requests, e é medido separadamente de AI Inference. Compute Time é a duração da execução ativa em horas multiplicada pela memória alocada em gigabytes, expressa em GB-hora. Para conhecer a tarifa cobrada por cada métrica, consulte Preços, que traz uma seção própria para LoRA Fine-Tune.

Recursos relacionados