El 1 de julio de 2026, Alex Karp, CEO de Palantir, participó en el programa Squawk Box de CNBC. Durante el programa, afirmó que “algo ha salido completamente mal” con la forma en que se comercializa la AI. Su objetivo era el modelo de negocio basado en tokens que utilizan los proveedores de AI de frontera. La entrevista fue teatral. Aun así, expuso un problema práctico. Los precios de inferencia de AI suelen usar una unidad técnica difícil de relacionar con solicitudes, usuarios o resultados de negocio.
La preocupación va más allá de Palantir. Nikesh Arora, CEO de Palo Alto Networks, ha argumentado que los costos de los tokens de AI quizá deban caer hasta un 90%. Esa reducción permitiría una adopción empresarial amplia. Según reportes, Uber estableció un límite mensual de $1,500 por empleado y por herramienta de programación agéntica. La medida llegó después de que la empresa consumiera su presupuesto anual de AI en cuatro meses.
Los tokens más baratos ayudarían, pero el precio por sí solo no resuelve el problema de medición. Los tokens siguen siendo una telemetría útil para ingeniería. Sin embargo, funcionan peor como unidad comercial universal para la inferencia, porque su cantidad cambia entre modelos, tokenizers, idiomas, estrategias de contexto y modos de razonamiento.
Un modelo basado en la computación ofrece otra alternativa. La facturación por solicitud y GB-hora conecta la factura con el volumen del workload, la memoria y el tiempo de ejecución. Son las mismas dimensiones operativas que los equipos de plataforma ya supervisan.
Por qué los precios de inferencia de AI se han convertido en un problema de gobernanza
Los precios por tokens parecen sencillos en una tabla de tarifas. Un proveedor publica un precio por millón de tokens de entrada y otro por tokens de salida. Así, los equipos pueden multiplicar esas tarifas por el uso esperado y obtener una estimación del presupuesto.
Este enfoque funciona bien cuando los prompts son estables, las respuestas tienen límites claros y las aplicaciones siguen patrones de solicitud predecibles. En la práctica, sin embargo, los sistemas modernos de AI rara vez se comportan así. La generación aumentada por recuperación cambia el tamaño de la entrada según el contexto recuperado. Los workflows agénticos pueden generar varias llamadas al modelo, invocar herramientas, repetir pasos fallidos y razonar antes de devolver una sola respuesta.
Aunque el negocio solo ve una solicitud, la factura puede reflejar varias categorías de consumo de tokens. Como resultado, tres preguntas básicas de FinOps se vuelven mucho más difíciles de responder:
- ¿Cuánto costará una acción del cliente?
- ¿Qué provocó el cambio en el costo por solicitud?
- ¿Una actualización del modelo cambiará la factura aunque el tráfico se mantenga estable?
Con suficiente instrumentación, la telemetría de tokens puede ayudar a responder estas preguntas. Incluso entonces, la métrica comercial obliga a los equipos a traducir el comportamiento de la aplicación a unidades específicas de cada modelo antes de poder prever el gasto.
Cómo funcionan los precios basados en tokens
Un token es un segmento de texto representado mediante un identificador numérico. Según el tokenizer, puede representar una palabra, parte de una palabra, un signo de puntuación u otro fragmento de texto. El tokenizer determina cómo se divide el texto antes de que el modelo lo procese.
Los proveedores suelen cobrar tarifas diferentes para varias clases de tokens:
- Tokens de entrada: prompts, instrucciones del sistema, historial de la conversación y contexto recuperado.
- Tokens de entrada en caché: contenido repetido del prompt, procesado con descuento cuando el proveedor admite prompt caching.
- Tokens de salida: respuestas visibles y, en algunos modelos y APIs, tokens de razonamiento o formato que no aparecen en la respuesta final.
Los precios actuales muestran cuánto pueden diferir estas categorías. En julio de 2026, OpenAI ofrece GPT-5.5 a $5 por millón de tokens de entrada. Los tokens de salida cuestan $30 por millón en la modalidad standard para contextos cortos. El procesamiento prioritario eleva esas tarifas a $12.50 y $75.
Claude Sonnet 5 tiene un precio introductorio de $2 por millón de tokens de entrada. Los tokens de salida cuestan $10 por millón hasta el 31 de agosto de 2026. Sus tarifas standard de $3 y $15 entrarán en vigor el 1 de septiembre.
Los clientes no carecen de control bajo este modelo. OpenAI, por ejemplo, documenta que max_output_tokens y max_completion_tokens limitan tanto la salida visible como la no visible.
Dónde fallan los precios de inferencia de AI basados en tokens
La principal debilidad de este enfoque no es que los tokens sean imaginarios o imposibles de medir. El problema es que dependen del modelo. Un millón de tokens no representa una cantidad fija de lenguaje, trabajo, latencia o valor de negocio.
Un cambio de tokenizer puede alterar el costo sin cambiar la tarea
Cada familia de modelos elige su tokenizer y su vocabulario. Cambiar de modelo puede modificar el conteo de tokens para el mismo prompt, aunque el comportamiento de la aplicación permanezca igual.
Anthropic ofrece un ejemplo actual. Su documentación indica que el tokenizer más reciente utilizado por Claude Sonnet 5 produce aproximadamente un 30% más de tokens para el mismo texto que su tokenizer anterior.
Las tarifas para contextos largos, escrituras y lecturas de caché, procesamiento por lotes, procesamiento prioritario y recargos por residencia de datos agregan más variables. La comparación entre tablas de precios rara vez se reduce a un precio de entrada y otro de salida.
La salida tiene límites, pero no es completamente predecible
Los desarrolladores pueden establecer límites de salida e indicar al modelo que sea conciso. El consumo real sigue dependiendo de la tarea, el comportamiento del modelo, el esfuerzo de razonamiento, las llamadas a herramientas y la estructura de la respuesta.
Esto importa porque los tokens de salida suelen costar cinco o seis veces más que los tokens de entrada. Los modelos de razonamiento también pueden generar tokens facturables que nunca aparecen en la respuesta visible. La documentación de OpenAI sobre conteo de tokens señala que la salida registrada puede incluir tokens de razonamiento, formato, delimitadores y llamadas a herramientas.
La tokenización puede crear un costo adicional por idioma
El mismo significado puede producir cantidades diferentes de tokens entre idiomas. Un estudio revisado por pares encontró diferencias de hasta 15 veces según el tokenizer. Incluso con tokenizers multilingües mejores, la facturación por cantidad de tokens puede generar costos inconsistentes entre aplicaciones globales.
Los workflows agénticos amplifican todas las fuentes de variación
Una solicitud de chat convencional puede generar una sola llamada al modelo. Un agente puede planificar, recuperar contexto, llamar a herramientas, evaluar un resultado y volver a intentarlo. Cada paso agrega entrada, salida o ambas. Dos solicitudes que parecen idénticas en la capa de producto pueden generar facturas de tokens muy diferentes.
Este entorno dio origen al “tokenmaxxing”: equipos que tratan el consumo de tokens como indicador de adopción o productividad con AI.
Qué cambió Cloudflare Neurons y qué no cambió
Cloudflare Workers AI introdujo Neurons como una unidad para la inferencia de texto, imagen y audio. El precio actual del servicio es de $0.011 por cada 1,000 Neurons, con 10,000 Neurons incluidos cada día.
La idea era comprensible: convertir varias modalidades de AI en una sola moneda de facturación. En la práctica, los clientes seguían necesitando una tabla de conversión específica para cada modelo. Para Llama 3.2 1B Instruct, la documentación actual de Cloudflare indica 2,457 Neurons por millón de tokens de entrada. La salida consume 18,252 Neurons por millón de tokens. Llama 3.1 70B FP8 utiliza 26,668 y 204,805 Neurons para las mismas categorías.
Cloudflare reconoció el problema de usabilidad en 2024. La empresa afirmó que a sus clientes les resultaba difícil entender y comparar los Neurons y anunció una transición hacia precios basados en unidades. En 2025, aclaró que el uso se mostraría en unidades conocidas, como tokens, segundos de audio, tamaño de imagen y pasos. Sin embargo, la facturación en el backend continuaría usando Neurons.
Mostrar tokens facilita la comparación, pero no elimina la capa propietaria de conversión. Una etiqueta universal no crea una unidad comercial universal cuando cada modelo exige una tasa de conversión diferente.
El valor práctico de los precios basados en la computación
Una métrica en GB-hora vincula los cargos con dos dimensiones observables de los recursos: memoria y tiempo de ejecución. Agregar un cargo por solicitud considera el volumen del workload y el overhead de la plataforma alrededor de cada ejecución.
Las plataformas serverless popularizaron este modelo al cobrar por las solicitudes y los recursos consumidos durante la ejecución. Proporciona a los equipos de ingeniería y finanzas un vocabulario operativo compartido basado en el volumen de solicitudes, el tiempo de ejecución y el uso de memoria.
El incentivo también cambia. Con precios basados en la computación, una ejecución más rápida y footprints de recursos menores reducen la factura del cliente. La cuantización, la compresión de modelos y las mejoras en la capa de serving pueden generar ahorros medibles. Así, la eficiencia deja de permanecer oculta detrás de una tarifa por token.
Precios por tokens vs. precios basados en la computación
Ninguna de las dos métricas elimina todas las variables. La pregunta más útil es si el modelo de precios refleja las métricas que los equipos de ingeniería y finanzas ya supervisan.
| Criterio de decisión | Precios basados en tokens | Solicitudes más GB-hora |
|---|---|---|
| Unidades principales | Tokens de entrada, de entrada en caché y de salida | Volumen de solicitudes, memoria y duración |
| Comparación entre modelos | Exige normalizar el tokenizer y la tabla de precios | Utiliza una sola estructura de tarifas; los modelos más grandes pueden consumir más tiempo o memoria |
| Estimación previa al despliegue | Buena cuando los formatos de prompt y respuesta son estables | Buena después de medir la memoria y el tiempo de ejecución |
| Consistencia multilingüe | Puede variar según la eficiencia del tokenizer | El idioma solo afecta el runtime cuando cambia el comportamiento de la ejecución |
| Workflows agénticos | Cada ciclo, llamada a una herramienta y nuevo intento agrega categorías de tokens | El trabajo adicional aparece como más solicitudes y tiempo de computación |
| Controles de costos | Límites de tokens, caching, ruteo y descuentos por procesamiento en lotes | Timeouts, dimensionamiento de memoria, concurrencia, elección del modelo y límites de solicitudes |
| Mejor aplicación | APIs gestionadas con formatos de solicitud estables | Equipos que buscan previsiones al estilo de la infraestructura y portabilidad entre modelos |
Los precios por tokens todavía pueden ser una opción razonable para APIs gestionadas con patrones de solicitud predecibles. Ofrecen a los desarrolladores visibilidad directa sobre la entrada y la salida del modelo y no requieren dimensionar recursos. El caching gestionado por el proveedor y los descuentos por procesamiento en lotes pueden reducir aún más el costo.
En cambio, los precios basados en la computación permiten comparar modelos dentro de un único marco comercial. Se adaptan mejor a los equipos que ejecutan modelos abiertos u optimizan aplicaciones completas de AI. La contrapartida es que los costos dependen del tiempo de ejecución y la memoria medidos. Por eso, los modelos más grandes o lentos pueden consumir más GB-hora aunque la tarifa por unidad se mantenga igual.
Cómo aborda Azion los precios de AI Inference
Azion AI Inference ejecuta un catálogo de modelos abiertos en Azion Runtime. El catálogo incluye generación de lenguaje, vision-language models, embeddings, rerankers y OCR. AI Inference utiliza dos métricas de facturación en todo el catálogo:
| Métrica | Precio |
|---|---|
| Solicitudes | $0.60 por millón |
| Tiempo de computación | $0.22 por GB-hora |
LoRA Fine-Tune sigue la misma estructura, a $0.36 por millón de solicitudes y $0.14 por GB-hora.
No existe una tasa de conversión de tokens ni una matriz de precios por modelo. La estructura tarifaria se mantiene cuando el equipo cambia de modelo. El costo total aún puede variar, porque un modelo más grande puede usar más memoria o ejecutarse durante más tiempo. Esa diferencia aparece en GB-hora, que los equipos pueden comparar con la latencia y la calidad.
Considera un workload simplificado que tarda, en promedio, un segundo de ejecución con 1 GB de memoria:
- Un millón de solicitudes consume 1,000,000 GB-segundos.
- Divide por 3,600 para obtener 277.78 GB-hora.
- A $0.22 por GB-hora, la computación cuesta aproximadamente $61.11.
- Agrega $0.60 por un millón de solicitudes.
- Costo estimado de inferencia: $61.71.
Este ejemplo excluye la transferencia de datos, el almacenamiento y otros productos utilizados por la aplicación. También supone que la duración medida de un segundo y el footprint de 1 GB se mantienen a escala de producción. Como estos supuestos se pueden validar mediante benchmarks, la estimación resulta útil antes de un rollout completo.
La misma estructura se extiende a la arquitectura de la aplicación. AI Inference se integra con Functions, Applications y la búsqueda vectorial de SQL Database. Los equipos pueden crear pipelines de RAG y agentes en una sola plataforma, manteniendo métricas documentadas para cada servicio.
Ejemplos prácticos para prever costos de inferencia de AI basados en la computación
Una previsión útil comienza con benchmarks cercanos a las condiciones de producción, no con la cantidad de parámetros del modelo. Prueba prompts representativos, tamaños de contexto, límites de salida y concurrencia. Después, registra tres datos:
- Volumen mensual de solicitudes.
- Duración media y percentiles del tiempo de ejecución.
- Memoria consumida o asignada por ejecución.
El cálculo base es:
costo mensual = tarifas de solicitudes + (solicitudes × duración media en horas × memoria en GB × tarifa por GB-hora)
Los workloads agénticos y de RAG suelen tener una cola larga. Modela los tiempos de ejecución p50, p95 y del peor caso. Después, agrega escenarios de crecimiento del tráfico, nuevos intentos y contextos de recuperación más grandes.
Compara el costo por tarea completada con éxito junto con la precisión, la latencia y la tasa de finalización. Un modelo más pequeño que repite una tarea dos veces puede costar más que uno mayor que la completa en el primer intento. La métrica debe respaldar ese análisis, no reemplazarlo.
Elige un modelo de precios de inferencia de AI que tus equipos puedan auditar
La crítica de Karp tuvo repercusión porque muchas empresas adoptaron AI antes de crear la gobernanza necesaria para gestionar sus costos. Los precios basados en tokens no son inherentemente opacos, pero su mayor limitación es la portabilidad. Cada modelo incorpora su propio tokenizer, precios, reglas de contexto y comportamiento de salida.
Para los equipos que ejecutan modelos abiertos y optimizan aplicaciones de AI, las solicitudes y los GB-hora ofrecen un contrato operativo más claro. Los costos quedan vinculados directamente con el volumen del workload, la memoria y el tiempo de ejecución.
Azion cobra $0.60 por millón de solicitudes y $0.22 por GB-hora en AI Inference. Las mismas tarifas se aplican a todo el catálogo, sin tablas de conversión de tokens. Consulta la documentación de AI Inference, explora los modelos disponibles o crea una cuenta gratuita para ejecutar un benchmark con tu propio workload.