Un gateway para todas tus aplicaciones de AI

AI Gateway es un único endpoint entre tus aplicaciones y los modelos de AI que llaman, construido en Azion Web Platform. Autentica a cada equipo, elige un modelo según una política, hace fallback cuando una llamada da error, guarda en caché las respuestas que quien llama permite y escribe una línea de log de uso y auditoría por cada llamada. Se ejecuta como una función en la infraestructura distribuida de Azion, detrás de Firewall.

Functions ejecuta la lógica del gateway en una aplicación, y AI Inference ejecuta los modelos alojados en Azion. Firewall aplica WAF, rate limits y DDoS Protection antes de que la solicitud llegue a la función. KV Store guarda las claves y las políticas de los equipos, la Cache API almacena las respuestas permitidas y Connectors llega a tus propios servidores de modelos. Real-Time Events, Real-Time Metrics y Data Stream registran y exportan cada llamada.

Cualquier modelo de AI Inference, incluidos Qwen3 30B A3B, GPT-OSS 20B y Mistral 3 Small, además de modelos de embedding, reranking y visión. El gateway también llama a proveedores externos cuyas API aceptan el formato chat completions de OpenAI, y a tus propios servidores de modelos a través de Connectors. Para un proveedor con su propio formato de solicitud, adapta la solicitud en la función.

Por lo general, solo la URL base y la clave. El gateway acepta solicitudes chat completions de OpenAI en /v1/chat/completions, así que los SDK de OpenAI y los clientes compatibles siguen funcionando. Los equipos envían un alias de modelo, como general, y el equipo de plataforma decide qué modelo responde.

Cada alias tiene una lista ordenada de modelos. Cuando una llamada lanza un error, no devuelve choices, responde con un código de estado de error o supera su tiempo límite, el gateway prueba el siguiente modelo. Cada intento fallido queda registrado y, si todos fallan, el gateway responde 502.

Cada llamada registra el equipo y los tokens que usó el modelo, así que tu plataforma de analytics puede sumar los gastos por equipo. Cuando un equipo alcanza su presupuesto, cambia su status a blocked y el gateway responde 429 a su clave. Las llamadas a terceros usan tus propias claves de proveedor, así que los proveedores cobran a tus cuentas a sus propios precios, sin recargo de Azion.

Las claves de proveedor se guardan como variables de entorno secretas y se leen dentro de la función, así que nunca aparecen en el código ni llegan a un equipo. Cada equipo recibe su propia clave del gateway, y KV Store guarda solo su hash SHA-256. Si prefieres validar JSON Web Tokens, ejecuta en Firewall la función JWT de Marketplace.

Real-Time Metrics grafica las solicitudes, los códigos de estado, el upstream status y las invocaciones de funciones. Real-Time Events guarda las líneas de log de cada solicitud durante 7 días, agrupadas por ID de solicitud. Data Stream envía las mismas líneas a Splunk, Datadog, Elasticsearch, Google BigQuery, Amazon S3, Apache Kafka o cualquier endpoint HTTPS.

Los gateways de AI gestionados te dan un conjunto fijo de funcionalidades para configurar. En Azion, el gateway es código tuyo: el enrutamiento, el fallback, el caching y la autenticación viven en una sola función, así que puedes aplicar cualquier política que necesiten tus equipos. La misma plataforma ejecuta modelos en AI Inference y protege el endpoint con Firewall, así que no hay un proxy aparte que proteger.

Una aplicación con Application Accelerator, que permite que una regla ejecute la función del gateway, y KV Store, que está en Preview y se habilita a través de Soporte Técnico. La documentación cubre toda la configuración, desde el código de la función hasta el stream de uso. Habla con un especialista para planificar los modelos, las rutas y los presupuestos de tus equipos.