Construí un agente de IA que ha llegado a 45,000 personas — 7.5 millones de mensajes y 735,000 llamadas. Algunas cosas que aprendí en el camino:
1. Leer las conversaciones es insustituible.
Anonimizamos los registros — leer las conversaciones de los usuarios se siente un poco sucio, y quieres ser responsable al respecto — pero es muy, muy útil. Las evaluaciones y el control de calidad solo captan hasta cierto punto. Los usuarios reales encontrarán un montón de cosas que tus pruebas nunca descubrirán, y leer cómo el agente las manejó realmente es cómo decidimos qué arreglar, qué añadir y qué dejar como está.
2. Gestionar un agente es muy parecido a gestionar a una persona.
Esa idea suena bonita, pero es genuinamente cómo funciona el trabajo. Cuando quería que se hiciera algo — volver a contactar con personas que se habían quedado en silencio, manejar un cierto tipo de solicitud de manera diferente, suavizar el tono — le daba instrucciones al agente, este las ejecutaba, y yo revisaba su trabajo en los registros. Algunas instrucciones son universales, cosas que quieres en cada interacción. Otras son específicas para un cliente. Hacer ambas bien es el trabajo real, y como gestionar a una persona, nunca terminas — a veces el agente lo hacía bien, a veces no.
3. Algunas personas intentarán hacerlo romántico, y solo puedes disuadirlo hasta cierto punto.
Con 45,000 personas, una parte irá por ahí sin importar lo que hagas. Cada salvaguarda que añades empeora un poco el producto para los demás, así que pasado cierto punto solo estás perjudicando a tus usuarios normales. La gente encuentra la manera.
4. Los agentes específicos superan a los generales. Siempre.
Un producto general se degrada a medida que le añades más y más, y eventualmente te encuentras con demandas que están en conflicto directo — puedes tener una u otra, pero no ambas. Las imágenes fueron un ejemplo para nosotros: algunos usuarios querían generación de imágenes, otros no querían imágenes de ninguna persona en absoluto. Lo romántico es otro: algunos no quieren nada, otros quieren un poco, otros quieren mucho. Intentar moldear un agente para que se adapte a muchas personas es realmente difícil. Cuanto más específico es el trabajo, mejor lo hace el agente.
5. La economía tiene que venir de algún lado.
Este es un servicio costoso de operar, y para un producto de consumo es realmente difícil encontrar la justificación económica — sin financiación de capital de riesgo es bastante difícil hacerlo viable. Necesita haber un ROI real en el uso del agente, por lo que adjuntarlo a un caso de uso empresarial tiene más sentido. Nuestro agente ahora funciona en piloto automático, genera alrededor de $10,000 al mes, y hasta donde sabemos, eso es aproximadamente lo grande que puede ser esa oportunidad.
Así que empaquetamos todo lo que aprendimos en una plataforma donde cualquiera puede crear agentes SMS. La plataforma se llama Outside Agent. Los construyes desde tu agente de codificación — describes lo que quieres, y está activo en un número de teléfono real en unos 30 minutos.
El número 4 es por el que la gente más pelea. Construyo estos para empresas y los genéricos siempre se ven impresionantes en la demostración, pero empiezan a fallar preguntas reales en cuanto amplías el alcance.
La solución que me ha funcionado: mantén el agente deliberadamente limitado. Solo responde a partir del contenido propio de la empresa, y cualquier cosa fuera de eso se deriva a una persona en lugar de adivinarla. Esa única regla hace más por la fiabilidad que cualquier cantidad de datos de entrenamiento adicionales.
Lo mismo con tu ejemplo de la imagen. En cuanto intentas atender a todos, no atiendes bien a nadie. Mejor lanzar la versión limitada y decir que no al resto.