Comprometer la arquitectura de una empresa con un único modelo de lenguaje es asumir una dependencia sobre algo que cambia de precio, de capacidad y de condiciones varias veces al año. No es una cuestión de desconfianza hacia ningún proveedor: es que el ritmo de cambio del mercado hace que cualquier decisión de este tipo caduque antes de amortizarse.
La forma correcta de tratar un modelo es como un componente sustituible, igual que se trata una base de datos o un proveedor de correo transaccional.
غالباً ما يُطرح النقاش حول الاستقلالية الكاملة كمسألة تتعلق بالنضج التكنولوجي. لكن من الأجدى طرحه كمسألة اقتصادية: أين تكمن العمالة المكلفة وأين تكمن المخاطر المكلفة؟.
Stanford HAI documentó que el coste de inferencia para un sistema con capacidades equivalentes a GPT-3.5 se dividió por más de 280 entre noviembre de 2022 y octubre de 2024, pasando de unos 20 dólares a 0,07 por millón de tokens. Esa magnitud de caída no tiene precedente en infraestructura tecnológica.
Las consecuencias prácticas son tres:
Lo que hoy es caro puede ser barato en un año. Casos de uso descartados por coste vuelven a ser viables sin hacer nada.
Lo que hoy es el mejor modelo puede no serlo en seis meses. El liderazgo ha cambiado de manos varias veces.
Los modelos se retiran. Las versiones tienen ciclo de vida, y quien construyó sobre una versión concreta acaba migrando por obligación y no por conveniencia.
Una arquitectura que no permite aprovechar la primera consecuencia ni absorber la tercera está pagando de más de forma permanente.
No significa usar varios modelos a la vez ni construir una capa de abstracción compleja. Significa que cambiar el modelo de un paso concreto sea una configuración y no un proyecto. Cuatro condiciones:
عنصر | Dónde debe vivir | Consecuencia si vive en el proveedor |
|---|---|---|
Lógica del flujo | En tu orquestación | Cada cambio de modelo es un rediseño |
Prompts e instrucciones | Versionados en tu repositorio | No se pueden comparar ni auditar |
Conjunto de evaluación | En tu sistema | Imposible saber si el cambio mejora o empeora |
Registro de ejecuciones | En tu infraestructura | Pierdes el histórico al cambiar |
La tercera fila es la decisiva. Sin un conjunto propio de casos con la respuesta correcta según tu negocio, la pregunta «¿este otro modelo lo haría mejor para nosotros?» no tiene respuesta objetiva. Y quien no puede comparar no puede negociar ni decidir: solo puede confiar.
Las tablas públicas de rendimiento de modelos sirven para orientarse y no para decidir. Miden capacidades generales sobre pruebas estandarizadas; tu caso es específico y depende de tu terminología, tus documentos, tu tolerancia al error y tu presupuesto por caso.
Es habitual que un modelo peor clasificado en las comparativas generales funcione mejor en un caso concreto, especialmente si es más barato y el caso no exige razonamiento complejo. Solo se descubre midiendo con casos propios.
De ahí que el conjunto de evaluación sea el activo más duradero de un proyecto de IA: sobrevive a los modelos, permite cambiar sin riesgo ciego y convierte una decisión de fe en una decisión de datos. Lo desarrollamos en la IA no elimina el QA, lo vuelve más importante
Sería deshonesto presentar la independencia como gratuita. Tiene coste, y hay razones legítimas para concentrar:
La diferencia entre concentrar por decisión y concentrar por descuido es que en el primer caso se conserva la capacidad de salir: la lógica, los prompts, la evaluación y el registro siguen siendo propios. Concentrar el consumo es una decisión comercial reversible; alojar la lógica fuera, no.
Tres pasos, ninguno exige rehacer el sistema:
Con esos tres pasos, la siguiente vez que cambien los precios o aparezca una alternativa mejor, la decisión será comercial y no técnica. Que es exactamente donde debe estar.
هذا يجعل تسجيل عملية التحقق شرطًا أساسيًا، وليس مجرد ممارسة مُثلى. وله تبعات تصميمية: فالمراقبة التي تحدث دون تسجيلها لا تُثبت شيئًا.
Antes de la próxima renovación con un proveedor de modelos, conviene responder a esto: ¿cuánto tardaríamos en evaluar una alternativa y cuánto en cambiar si saliera mejor?
Si la respuesta es «días para evaluar, semanas para cambiar», la posición es sólida. Si la respuesta es que habría que rehacer los flujos, la empresa no está eligiendo proveedor: lo está heredando cada año.
Porque los precios, las capacidades y la disponibilidad cambian varias veces al año. Stanford HAI documentó que el coste de inferencia para un sistema equivalente a GPT-3.5 se dividió por más de 280 entre finales de 2022 y finales de 2024, y las versiones concretas se retiran con el tiempo.
Que sustituir el modelo de un paso concreto sea una configuración y no un proyecto. Requiere que la lógica del flujo, los prompts versionados, el conjunto de evaluación y el registro de ejecuciones residan en la infraestructura propia y no en la del proveedor.
Sirven para orientarse, no para decidir. Miden capacidades generales sobre pruebas estandarizadas, mientras que cada caso depende de la terminología propia, los documentos concretos, la tolerancia al error y el presupuesto por caso. Un modelo peor clasificado puede rendir mejor en un caso específico.
Es el repertorio de casos reales con la respuesta que la organización considera correcta. Sobrevive a los cambios de modelo, permite comparar alternativas objetivamente y convierte la decisión de cambiar de proveedor en una decisión de datos en lugar de un acto de confianza.
Cuando hay descuentos por volumen relevantes, requisitos de residencia de datos que solo cumple ese proveedor, integración nativa con la plataforma ya en uso, o un equipo pequeño para el que mantener abstracciones sería desproporcionado. La clave es conservar la capacidad de salir.
Con tres pasos que no exigen rehacerlo: extraer los prompts e instrucciones al repositorio propio y versionarlos, construir un conjunto de evaluación con cincuenta o cien casos reales, y aislar la llamada al modelo detrás de una interfaz propia y fina.
¿Cuánto tardarías en cambiar de modelo si mañana subieran el precio? Construimos la capa de abstracción, el conjunto de evaluación y el registro para que la decisión vuelva a ser tuya. لنتحدث → |