Por que la mayoria de los proyectos de agentes de IA se quedan en la demo y nunca salen a produccion

Que un agente de IA muera despues de la demo no es un problema de calidad del modelo, es un problema de alcance: nadie escribio que significa "manejado" cuando falla una llamada a una herramienta.

He construido suficientes de estos como para tener un patron aburrido y repetible de lo que separa a los que salen a produccion de los que mueren en silencio en un canal de Slack despues de que se enfria el "wow" inicial.

Que es lo que realmente mata un proyecto de agentes despues de la demo?

La demo solo recorre el camino feliz. Cada proyecto de agentes que he visto morir tuvo el mismo modo de falla: una llamada a una herramienta que devuelve datos mal formados, un modelo que alucina el nombre de un campo, o un paso que se completa a medias y deja el sistema en un estado raro, y nadie habia escrito que deberia pasar despues. La demo se veia genial porque nadie intento romperla a proposito.

Que hicieron distinto los proyectos que si llegaron a produccion?

Tres pruebas, sin numeros de vendedor:

• Un agente de triage de tickets de soporte que salio a produccion: el equipo paso mas tiempo de ingenieria en "que pasa cuando el clasificador no esta seguro" (mandarlo a una cola humana con la senal cruda adjunta) que en el clasificador mismo.
• Un agente de extraccion de facturas que salio a produccion: cada campo extraido llevaba un puntaje de confianza, y cualquier cosa bajo el umbral se marcaba para revision en vez de publicarse en silencio. La demo no mostraba ese camino. La produccion vivio o murio por el.
• Un agente de notas de reuniones que salio a produccion: reintentos con backoff en el paso de transcripcion, y un respaldo firme a "aqui esta la transcripcion cruda" si el paso de resumen fallaba dos veces. Nadie vio nunca un resultado en blanco.

Que tenian en comun los dos que se quedaron en demo?

Ambos tenian demos hermosas y cero logica de reintentos. Uno se atoro la primera vez que una API de la que dependia devolvio un error de limite de tasa, lo cual paso en la primera semana de uso real, no en algun caso raro. El otro no tenia forma de decirle a un usuario "esto no funciono, aqui esta por que", simplemente no producia nada en silencio, y el equipo se entero por un usuario confundido tres dias despues en vez de una linea de log cinco minutos despues.

Cual es la solucion real?

Antes de escribir el codigo del camino feliz, escribe que significa "manejado" para las tres formas mas probables en que este agente puede fallar. Si no puedes nombrar tres, todavia no has definido el alcance del proyecto, has definido el alcance de una demo.

Si estas atorado en la etapa de demo en un proyecto de agentes, yo configuro esto para vivir.

Trabaja conmigo