Primeiros passos com AI Inference

Este guia conduz você até a primeira resposta de um modelo do AI Inference.

• Implante o template AI Inference Starter Kit como uma aplicação.
• Abra o Workload Domain que a implantação atribui à aplicação.
• Envie uma requisição de chat a um modelo e leia a resposta que ele retorna.
• Altere o modelo que a função chama.

A implantação cria três objetos, e uma requisição passa por todos eles:

1. O Workload Domain é o endereço para o qual um cliente envia a requisição. Azion o atribui à aplicação, na forma xxxxxxxxxx.map.azionedge.net.
2. A aplicação recebe a requisição nesse domínio, aplica suas políticas e chama a função.
3. A função contém o código que chama o modelo com Azion.AI.run e retorna a resposta do modelo.

Você não escreve nenhum código para chegar à primeira resposta. O template cria os três objetos, e a função que ele instala já serve um endpoint compatível com OpenAI.

Pré-requisitos

Este guia requer uma conta Azion. O template cria todos os outros objetos que o guia usa: a aplicação, a função e o domínio.

Implante o template AI Inference Starter Kit

Para criar a aplicação que responde às requisições de modelo:

Uma janela mostra os logs da implantação enquanto ela é executada. Quando ela termina, a página mostra informações sobre a aplicação e as opções para continuar.

A aplicação existe, com uma função que chama um modelo e um domínio que a serve.

Abra o domínio da aplicação

Azion atribui um Workload Domain à aplicação durante a implantação. O domínio tem a forma xxxxxxxxxx.map.azionedge.net e é o endereço para o qual um cliente envia uma requisição de modelo. A página da implantação mostra o link para a aplicação.

Para ver a aplicação no navegador, selecione o link.

O domínio resolve, e a aplicação responde nele. Copie o domínio: a requisição ao modelo vai para ele.

Envie uma requisição ao modelo

A aplicação serve um endpoint compatível com OpenAI em /v1/chat/completions no domínio dela. O corpo da requisição indica o modelo no campo model e carrega a conversa em messages.

A função que o template instala chama Qwen/Qwen3-30B-A3B-Instruct-2507-FP8. Para enviar uma requisição de chat a ele, substitua <your-application-domain> pelo domínio da sua aplicação e execute:

O modelo responde com uma entrada em choices, e o texto gerado fica em choices[0].message.content:

Você tem a sua primeira resposta de modelo, servida pela sua própria aplicação.

Azion não emite nenhuma credencial para essa requisição, e o endpoint não carrega autenticação da Azion. Quando você adiciona autenticação à sua aplicação, inclua o header que ela exige, por exemplo -H "Authorization: Bearer [TOKEN VALUE]". Para conhecer todos os campos que um corpo de requisição aceita, consulte Invocação de modelos.

(Opcional) Altere o modelo que a função chama

A função que o template implantou contém a chamada ao modelo, e o primeiro argumento de Azion.AI.run é o id do modelo. A página da função tem três abas:

• Main Settings renomeia a função e altera as configurações básicas dela.
• Code contém o código da função.
• Arguments define os argumentos que a função usa.

Para chamar um modelo diferente:

A função chama o modelo cujo id está salvo na aba Code. A forma dos ids varia entre os modelos, então copie o id da própria página do modelo em Modelos de AI.

Próximos passos