Si no se puede medir,
no se puede mantener.

Los cambios de prompt son engañosamente arriesgados. Una edición que arregla el caso que tienes delante rompe con frecuencia dos que no estás mirando, y sin un conjunto de evaluación la única señal es una queja de usuario semanas después. Eso no es un proceso de desarrollo: es una conjetura a cámara lenta.

Un banco de evaluación convierte eso en ingeniería. Un conjunto de casos reales con el comportamiento esperado, ejecutado en cada cambio, de modo que una mejora se demuestre en lugar de afirmarse. Empieza pequeño —un par de docenas de casos sacados del uso real— y crece cada vez que algo falla en producción, que es como se deja de repetir el mismo defecto.

La elección de modelo no es deliberadamente un compromiso permanente. Construimos detrás de una capa agnóstica de proveedor, de modo que cambiar de modelo sea un cambio de configuración y no una reescritura, porque la capacidad y el precio en este mercado se mueven más rápido que cualquier ciclo de desarrollo que puedas planificar.

El coste se instrumenta desde el principio. La inferencia escala con el uso de una forma que la mayoría de los presupuestos no prevé, y tener el coste por conversación visible en la primera semana es bastante mejor que una sorpresa en la factura del proveedor en el tercer mes. La inferencia se repercute a precio de proveedor sin margen.

Qué incluye

• Selección de modelo según latencia, calidad y techo de coste
• Diseño de prompts e interfaces de herramientas
• Conjunto de evaluación con casos reales, ejecutado en cada cambio
• Capa agnóstica de proveedor para poder cambiar de modelo
• Control y alertas de coste por conversación

No incluido

• Coste de inferencia de los modelos, facturado a precio de proveedor
• Entrenamiento de modelos fundacionales propios