AI Inference API
Chame o binding Azion.AI.run dentro de uma função para invocar um modelo do AI Inference e consulte os parâmetros e o valor de retorno dele.
Azion.AI.run é o binding que uma função chama para invocar um modelo no AI Inference. Ele é um global do Azion Runtime, então uma função o alcança sem linha de import e sem credencial. O binding carrega o id do modelo e o corpo da requisição. Os campos que esse corpo aceita, e o objeto que o modelo retorna, são os mesmos do endpoint HTTP e estão documentados em Invocação de modelos.
Parâmetros
Azion.AI.run recebe dois parâmetros, e a chamada é assíncrona: a função aguarda a chamada e lê a resposta do modelo no valor resolvido.
| Parâmetro | Tipo | Descrição |
|---|---|---|
| Id do modelo | string | O id do modelo a ser invocado, na forma que a página do modelo indica. |
| Corpo da requisição | object | Os campos da requisição para a operação. O id do modelo não é repetido dentro dele. |
A forma do id varia entre os modelos, então copie o id da própria página do modelo em Modelos de AI em vez de derivá-lo do nome do modelo.
Chame um modelo
Uma chamada a um modelo de chat dentro de uma função:
Valor de retorno
O valor resolvido é o objeto que o modelo retorna: um objeto chat.completion de um modelo de chat, uma list de embeddings de um modelo de embedding e os resultados ranqueados de um modelo de reranking. O texto gerado por um modelo de chat fica em modelResponse?.choices?.[0]?.message?.content, que é o conteúdo da primeira entrada de choices. Todos os campos das três formas estão listados em Invocação de modelos.