Limites do AI Inference
Consulte as condições em que Azion encerra ou desprovisiona um modelo do AI Inference e onde cada limite restante é declarado.
Um modelo no AI Inference encontra dois tipos de limite. O primeiro é uma condição: Azion encerra um modelo que consome memória demais ou que executa por tempo demais, e desprovisiona um modelo que nunca é executado. O segundo é um valor declarado que delimita uma chamada, como um campo da requisição ou o comprimento de contexto de um modelo. Esta página traz as condições e indica a página que declara cada valor.
Encerramento e desprovisionamento de modelos
Azion aplica as condições abaixo a todo modelo. As duas primeiras delimitam um modelo enquanto ele executa, e Azion não publica valor para nenhum dos dois tetos. A terceira declara um número de dias.
| Condição | Valor | O que acontece quando o limite é ultrapassado |
|---|---|---|
| Memória que um modelo consome | Não publicado | Azion pode encerrar um modelo que consome mais do que a memória máxima definida. |
| Tempo que um modelo executa | Não publicado | Azion pode encerrar um modelo que executa por mais tempo do que o tempo máximo permitido. |
| Tempo desde a criação sem uma execução | 3 dias | Azion pode desprovisionar um modelo que é criado e não é executado por mais de três dias. |
Limites declarados em outras páginas
Os valores que delimitam uma chamada de modelo pertencem ao modelo, ao schema da requisição ou à função que faz a chamada. Cada um é declarado na página que o detém. Para dimensionar um prompt, consulte o comprimento de contexto na página do modelo que você chama.
| Limite | O que delimita | Onde é declarado |
|---|---|---|
| Comprimento de contexto | O contexto que um modelo aceita, em tokens. Cada página de modelo declara o próprio valor. | Modelos de AI |
| Limites dos campos da requisição | Os valores que temperature, top_p, n, presence_penalty e frequency_penalty aceitam. | Invocação de modelos |
| Limites de Functions | O tamanho do código, a memória, o tempo de execução e as requisições de saída da função que chama o modelo. | Limites de Functions |