Chame um modelo no AI Inference a partir de uma function

Chame um modelo de chat no AI Inference a partir de uma function com Azion.AI.run e devolva a resposta do modelo à requisição que chegou à function.

Última atualização

Ver como Markdown Configurar agente

Você chama um modelo de chat no AI Inference a partir de uma function com o binding Azion.AI.run, pelo Azion Console ou pela Azion CLI. Para transformar texto em vetores com um modelo de embedding, consulte Gere embeddings de documentos em uma tabela vetorial com AI Inference.

A function envia um id de modelo e um body de requisição, espera o modelo e lê o texto gerado na resposta. A Azion não emite credencial para a chamada, então qualquer verificação de quem pode chegar ao modelo é código na function, antes da chamada.

Pré-requisitos

  • Uma aplicação com o Application Accelerator ativado, que o behavior Run Function exige. Para criar uma, consulte Primeiros passos com Applications.
  • O id do modelo a chamar, copiado da página dele em Modelos de AI. Os ids não seguem uma única forma, então um id derivado do nome do modelo pode estar errado.
  • A Azion CLI instalada e autorizada, para o procedimento pela CLI.

Com azion dev, Azion.AI é undefined, e uma chamada a Azion.AI.run lança TypeError: Cannot read properties of undefined (reading 'run'). Teste a chamada quando a function estiver rodando na aplicação.

Os exemplos chamam Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 a partir de uma function chamada ai-chat, em POST /api/chat de www.example.com. Substitua-os pelos seus valores.

Crie a function que chama o modelo

Azion.AI.run recebe o id do modelo como primeiro argumento e o body da requisição como segundo, sem um campo model. O body exige messages, e cada mensagem carrega um role system, user ou assistant. max_tokens limita o que o modelo gera, e stream: false devolve a resposta inteira.

A function recusa um prompt vazio antes da chamada, porque cada chamada executa o modelo. Ela lê o texto com optional chaining em todos os níveis, então uma resposta sem algum nível resulta em undefined, e a function responde 502 em vez de falhar dentro da leitura:

JavaScript
01const MODEL = "Qwen/Qwen3-30B-A3B-Instruct-2507-FP8";
02
03function json(body, status = 200) {
04 return new Response(JSON.stringify(body), {
05 status,
06 headers: { "Content-Type": "application/json" }
07 });
08}
09
10export default {
11 async fetch(request, env, ctx) {
12 if (request.method !== "POST") {
13 return new Response("Method not allowed", { status: 405 });
14 }
15 const { prompt } = await request.json();
16 if (typeof prompt !== "string" || prompt.trim() === "") {
17 return json({ error: "prompt is required" }, 400);
18 }
19
20 const modelResponse = await Azion.AI.run(MODEL, {
21 "stream": false,
22 "max_tokens": 500,
23 "messages": [
24 { "role": "system", "content": "You are a helpful assistant." },
25 { "role": "user", "content": prompt }
26 ]
27 });
28
29 const text = modelResponse?.choices?.[0]?.message?.content;
30 if (!text) {
31 return json({ error: "the model returned no text" }, 502);
32 }
33 return json(modelResponse);
34 },
35};

Para criar a function pelo Azion Console:

Abra a página Functions

Acesse Azion Console > Products Menu > Libraries > Functions.

Selecione + Function
Nomeie a function

Digite ai-chat.

Cole o código acima na aba Code
Selecione Save

A function é salva e fica disponível para ser instanciada em uma aplicação.

A conta tem uma function ai-chat que envia cada prompt ao modelo e devolve a resposta do modelo.

Execute a function e leia a resposta

A function roda quando uma instância dela está na aplicação e uma regra seleciona essa instância. Crie a instância como Primeiros passos com Functions descreve, com o nome ai-chat. Crie a regra como Execute uma função em um caminho e reverta-o descreve, com o caminho /api/chat e o método POST. Regras novas podem levar alguns minutos para se propagar.

Para enviar um prompt à function:

Shell
01curl -s -X POST https://www.example.com/api/chat \
02 -H 'Content-Type: application/json' \
03 -d '{"prompt":"Name the European capitals."}'

A function devolve o objeto chat.completion do modelo. O texto gerado fica em choices[0].message.content:

JSON
01{
02 "id": "chatcmpl-example",
03 "object": "chat.completion",
04 "created": 1767268800,
05 "model": "Qwen/Qwen3-30B-A3B-Instruct-2507-FP8",
06 "choices": [
07 {
08 "index": 0,
09 "message": {
10 "role": "assistant",
11 "reasoning_content": null,
12 "content": "Sure! Here is a list of some European capitals...",
13 "tool_calls": []
14 },
15 "logprobs": null,
16 "finish_reason": "stop",
17 "stop_reason": null
18 }
19 ],
20 "usage": {
21 "prompt_tokens": 9,
22 "total_tokens": 527,
23 "completion_tokens": 518,
24 "prompt_tokens_details": null
25 },
26 "prompt_logprobs": null
27}

usage.prompt_tokens conta os tokens lidos da requisição, e usage.total_tokens soma a eles os tokens gerados. Leia os dois depois de uma mudança no prompt para ver o que a mudança consome. Uma requisição com prompt vazio responde 400 e não executa nenhum modelo.

Um POST para /api/chat devolve uma resposta que o modelo gerou no AI Inference.

Próximos passos

Modelos de AICopie o id de outro modelo e confira o tamanho de contexto, os tipos de entrada e o tool calling dele.Invocação de modelosTodos os campos que o body da requisição aceita e todos os campos da resposta.Adicionar funcionalidades de IA a aplicações existentesUma rota de resumo cuja function chama um modelo do catálogo e armazena cada resumo em cache.Governar o acesso a múltiplos modelos de IAUma function de gateway que chama primeiro um modelo no AI Inference e um provedor em caso de falha.