Cuando alguien me pregunta si su agente de IA funciona, casi siempre me enseña una cifra: cuántas conversaciones atendió el mes pasado. Es la métrica más fácil de sacar y la que menos dice. Un agente puede contestar miles de mensajes y dejar a la mitad de los clientes peor que si nadie les hubiera respondido.
En Recaudo llevamos cerca de 495 mil conversaciones con clientes de 224 negocios, y con los agentes que hacemos para otras empresas revisamos casi siempre lo mismo. Estas son las métricas que miro y el orden en que las miro.
Qué pasó con el cliente, no con el agente
La primera pregunta es qué resultado de negocio dejó la conversación. Si el agente cobra, cuántas conversaciones terminaron en un pago registrado o en una promesa de pago con fecha. Si vende, cuántas terminaron en una cotización enviada o en una cita. Si atiende dudas, cuántos clientes no tuvieron que volver a escribir por lo mismo en los siguientes días.
Para medir esto el agente tiene que dejar rastro en tus sistemas. Una promesa de pago que solo vive en el texto del chat no se puede contar. Por eso, antes de prender un agente, definimos qué registro debe crear en el CRM o en el ERP cuando una conversación sale bien.
Cuándo pasa la conversación a una persona, y por qué
El porcentaje de conversaciones que el agente pasa a un asesor no es bueno ni malo por sí solo. Lo que importa es el motivo. Conviene separar al menos tres casos:
- El cliente pidió hablar con una persona.
- El agente no encontró el dato que necesitaba o la consulta falló.
- La regla del negocio dice que ese caso lo resuelve un humano, como un descuento fuera de política o una queja.
El segundo motivo es el que más enseña. Casi siempre apunta a una herramienta que falta, a un permiso mal puesto o a un catálogo que no está sincronizado. Si lo cuentas aparte, sabes qué arreglar la siguiente semana.
Respuestas con dato verificable
Un agente que inventa un saldo es peor que uno que no contesta. Esto no sale en ningún tablero automático, así que lo revisamos leyendo. Cada semana tomamos una muestra de conversaciones y comparamos cada número que dio el agente contra lo que había en la base en ese momento: saldos, fechas, precios, existencias.
Ayuda mucho que el sistema guarde junto a cada respuesta las consultas que hizo el agente y lo que le devolvieron. Así la revisión toma minutos. En otra nota conté por qué ese historial importa también para que el agente no invente.
Tiempo y costo
El tiempo a la primera respuesta suele ser excelente con un agente, así que vale más medir el tiempo total hasta que el cliente tuvo lo que buscaba. Una conversación que se resuelve en dos minutos con tres consultas a tu ERP es mejor que una que contesta en un segundo y luego se atora.
El costo por conversación se volvió más importante desde que Meta cambió el cobro de la API de WhatsApp Business y empezó a cobrar los mensajes de servicio. Ahora cada mensaje del agente tiene precio, además del costo del modelo. Un agente que contesta en cinco mensajes cortos lo que podía decir en uno sale más caro sin dar mejor servicio. Revisa la tabla oficial de Meta para tu país y suma los dos costos antes de comparar contra lo que te cuesta un asesor.
Quejas y señales débiles
Hay señales que no aparecen como métrica pero avisan pronto: clientes que escriben «¿eres un robot?», que repiten la misma pregunta con otras palabras o que contestan con un solo signo de interrogación. No las convertimos en un número perfecto. Las buscamos en la muestra semanal y, cuando se juntan alrededor de un tema, casi siempre hay una instrucción mal escrita o una respuesta que el agente da demasiado larga.
Lo que no medimos al principio
En las primeras semanas no perseguimos el porcentaje de automatización. Subirlo es fácil si el agente se niega a pasar conversaciones a personas, y eso deja clientes enojados. Primero queremos que lo que contesta sea correcto y que los traspasos tengan motivo claro. Cuando eso está estable, empezamos a darle más casos.
Si ya tienes un agente en producción y quieres revisar sus números con alguien que no lo construyó, escríbeme. Me interesa saber qué métrica estás usando hoy para decidir si vale la pena.