Um endpoint para todos os modelos
As aplicações enviam requisições no formato da OpenAI com um alias de modelo. Troque o modelo por trás de um alias uma vez, e todas as aplicações acompanham.
Fallback quando um provedor falha
Cada alias lista seus modelos em ordem. Quando uma chamada dá erro ou excede o tempo limite, o gateway passa para o próximo.
Chaves dos provedores ficam no servidor
As chaves dos provedores ficam em variáveis de ambiente secretas. Cada time recebe a própria chave do gateway, armazenada apenas como hash SHA-256.
Abuso bloqueado antes de gastar tokens
O Firewall aplica WAF, rate limits e DDoS Protection antes que as requisições cheguem ao gateway, então o tráfego bloqueado nunca chega a um modelo.
Prompts repetidos respondidos do cache
Quem chama decide a cada requisição. Um prompt idêntico recebe uma resposta armazenada, sem chamada ao modelo e sem gastar tokens.
Cada chamada registrada
Cada chamada registra o time, o modelo, o fallback, o resultado do cache e os tokens usados. Envie os logs para o seu SIEM ou data warehouse.
Cada requisição de AI por um único ponto de controle
Chatbots, AI agents e coding agents chamam um único endpoint. O Firewall barra o abuso e, em seguida, uma função verifica a chave, roteia a chamada e a registra.
Casos de uso
O caminho mais curto para um gateway de AI em produção
Mantenha o SDK da OpenAI que você já usa. Aponte-o para o seu gateway e envie um alias de modelo. O gateway cuida das chaves, do roteamento, do fallback e dos logs.
Nossa parceria com a Azion transformou nossas operações. Reduzimos custos e melhoramos a performance, recuperando mais de 200 horas mensais para focar em desenvolvimento estratégico.Todas as primitivas de desenvolvimento de que você precisa
Perguntas frequentes
O que é o AI Gateway?
O AI Gateway é um único endpoint entre as suas aplicações e os modelos de AI que elas chamam, construído na Azion Web Platform. Ele autentica cada time, escolhe um modelo por política, faz fallback quando uma chamada falha, armazena em cache as respostas que quem chama permite e grava uma linha de log de uso e auditoria para cada chamada. Ele roda como uma função na infraestrutura distribuída da Azion, atrás do Firewall.
Com o que o AI Gateway é construído?
O Functions executa a lógica do gateway em uma aplicação, e o AI Inference executa os modelos hospedados na Azion. O Firewall aplica WAF, rate limits e DDoS Protection antes que a requisição chegue à função. O KV Store guarda as chaves e as políticas dos times, a Cache API armazena as respostas permitidas e os Connectors alcançam os seus próprios servidores de modelos. Real-Time Events, Real-Time Metrics e Data Stream registram e exportam cada chamada.
Quais modelos e provedores posso usar?
Qualquer modelo do AI Inference, incluindo Qwen3 30B A3B, GPT-OSS 20B e Mistral 3 Small, além de modelos de embedding, reranking e visão. O gateway também chama provedores terceiros cujas APIs aceitam o formato chat completions da OpenAI, e os seus próprios servidores de modelos pelos Connectors. Para um provedor com formato de requisição próprio, adapte a requisição na função.
Preciso alterar o código da minha aplicação?
Normalmente, apenas a URL base e a chave. O gateway aceita requisições chat completions da OpenAI em /v1/chat/completions, então os SDKs da OpenAI e os clientes compatíveis continuam funcionando. Os times enviam um alias de modelo, como general, e o time de plataforma decide qual modelo responde.
Como funciona o fallback?
Cada alias tem uma lista ordenada de modelos. Quando uma chamada lança um erro, não retorna choices, responde com status de erro ou passa do tempo limite, o gateway tenta o próximo modelo. Cada tentativa que falha é registrada e, se todas falharem, o gateway responde 502.
Como controlo os gastos por time?
Cada chamada registra o time e os tokens que o modelo usou, então a sua plataforma de analytics pode somar os gastos por time. Quando um time atinge o orçamento, mude o status dele para blocked, e o gateway responde 429 à chave dele. As chamadas a terceiros usam as suas próprias chaves de provedor, então os provedores cobram as suas contas pelos próprios preços, sem acréscimo da Azion.
Como as chaves de provedor e as chaves dos times são protegidas?
As chaves de provedor ficam armazenadas como variáveis de ambiente secretas e são lidas dentro da função, então nunca aparecem no código nem chegam a um time. Cada time recebe a própria chave do gateway, e o KV Store guarda apenas o hash SHA-256 dela. Se preferir validar JSON Web Tokens, execute no Firewall a função JWT do Marketplace.
Como monitoro requisições, latência e erros?
O Real-Time Metrics mostra em gráficos as requisições, os status codes, o upstream status e as invocações de funções. O Real-Time Events guarda as linhas de log de cada requisição por 7 dias, agrupadas pelo ID da requisição. O Data Stream envia as mesmas linhas para Splunk, Datadog, Elasticsearch, Google BigQuery, Amazon S3, Apache Kafka ou qualquer endpoint HTTPS.
Como o AI Gateway da Azion se compara a outros gateways de AI?
Os gateways de AI gerenciados oferecem um conjunto fixo de recursos para configurar. Na Azion, o gateway é um código que pertence a você: roteamento, fallback, cache e autenticação ficam em uma única função, então você pode aplicar qualquer política de que seus times precisem. A mesma plataforma executa modelos no AI Inference e protege o endpoint com o Firewall, então não há um proxy separado para proteger.
Do que eu preciso para começar?
Uma aplicação com Application Accelerator, que permite que uma regra execute a função do gateway, e o KV Store, que está em Preview e é habilitado pelo Suporte Técnico. A documentação cobre toda a configuração, do código da função ao stream de uso. Fale com um especialista para planejar os modelos, as rotas e os orçamentos dos seus times.
Construa uma vez.Rode em qualquer lugar.
Ganhe um caminho mais rápido para lançar, menos latência e menos sobrecarga de infraestrutura.