Conversaciones reales con agentes de IA en WhatsApp: el protocolo del estudio sobre derivaciones a personas e intentos de manipulación

Estado del estudio: protocolo publicado, resultados pendientes

Esta página no tiene hallazgos. Tiene el diseño completo del estudio, publicado antes de analizar una sola conversación.

Lo hacemos así por una razón práctica. Un estudio que define sus categorías después de mirar los datos puede, sin querer, elegir las que mejor quedan. Al publicar antes qué vamos a contar, cómo lo vamos a clasificar y qué vamos a dejar afuera, cualquiera puede comparar el informe final con este protocolo y ver si cambiamos algo. Si cambiamos algo, lo vamos a decir en el informe, con el motivo.

Cuando haya datos, esta misma URL va a publicar los hallazgos, cada número con su denominador y su período, y los datos agregados para descargar. Primero el método.

La pregunta y por qué importa

El estudio responde dos preguntas sobre agentes de IA que atienden clientes o vecinos por WhatsApp:

1. ¿Cuándo y por qué el agente pasa la conversación a una persona? Qué proporción de las conversaciones termina en una derivación, por qué motivo y en qué momento de la conversación.
2. ¿Qué intentos de manipulación recibe y cómo responde? Qué intenta conseguir quien quiere que el agente actúe fuera de sus reglas, y si el agente rechaza, deriva o responde dentro de sus reglas.

Hoy las decisiones sobre cuánta autonomía darle a un agente se toman con encuestas de opinión y con estadísticas de proveedores que no publican su método. Una encuesta mide lo que la gente cree que pasa. Este estudio mide lo que pasó en conversaciones registradas, con reglas escritas antes. Lo observado, con método.

Qué vamos a medir

Los cuatro indicadores del estudio, con su definición operativa y su forma de cálculo, están en la tabla de esta página. Abajo, las categorías con las que vamos a clasificar.

Motivos de derivación: la clasificación de partida

Cada derivación se va a asignar a un solo motivo, el que la disparó:

• Pedido explícito de hablar con una persona.
• Consulta fuera del conocimiento cargado en el agente.
• Decisión que requiere aprobación, como un precio especial o una excepción.
• Reclamo o urgencia.
• Información incompleta después de varios intentos de preguntar.
• Audio o adjunto que el agente no pudo interpretar.
• Fuera de horario, con regla de derivación al día siguiente.
• Otro, con descripción.

La clasificación se valida sobre una muestra antes de aplicarse al total. Si una categoría no aparece o hace falta una nueva, el cambio se informa.

Intentos de manipulación: las categorías

Un intento de manipulación es un mensaje que busca que el agente actúe fuera de sus reglas, entregue datos que no debe o revele sus instrucciones. Las categorías se apoyan en el OWASP Top 10 para aplicaciones con LLM 2025: inyección de instrucciones (LLM01), divulgación de información sensible (LLM02) y filtración de las instrucciones del sistema (LLM07).

• Pedir un descuento, un precio o una condición que no existe.
• Hacerse pasar por un empleado, un técnico o un funcionario.
• Pedir datos de otro cliente o de otro vecino.
• Esconder instrucciones en un audio, una imagen o un archivo.
• Intentar que el agente muestre sus instrucciones.

La respuesta del agente a cada intento se clasifica en cuatro grupos: rechazo, derivación a una persona, respuesta dentro de reglas u otra.

Método

Qué datos vamos a usar

Conversaciones de WhatsApp atendidas por SmartBot de MoPッ en organizaciones que aceptan participar, exportadas desde PanelCRM con sus eventos de derivación y sus horarios. Cada organización aporta un período continuo, con fecha de inicio y de fin declaradas. La unidad de análisis es la conversación: la secuencia de mensajes entre una persona y la línea que empieza con un mensaje de la persona y se cierra después de 24 horas sin mensajes. Las conversaciones de prueba y las de personal interno quedan excluidas, y el informe dice cuántas fueron.

Consentimiento y anonimización

Cada organización participante firma una autorización escrita que dice qué datos se usan, para qué y qué se va a publicar. La organización decide si aparece con su nombre o como "una organización del sector", y revisa el texto final antes de la publicación.

La anonimización ocurre antes del análisis. Se reemplazan por marcadores los nombres, números de teléfono, direcciones, documentos, correos, patentes y cualquier otro dato que permita identificar a una persona. Los audios se analizan a partir de su transcripción anonimizada. Nadie fuera del equipo de clasificación ve conversaciones. El informe no publica mensajes textuales: los ejemplos se parafrasean y se revisan para que no permitan reconocer a nadie. Antes de publicar, el consentimiento, la anonimización y el texto pasan por revisión legal en cada país de origen de los datos.

Cómo vamos a clasificar

Dos personas clasifican por separado una muestra de conversaciones con las mismas definiciones. Se mide cuánto coinciden y ese acuerdo se publica. Los desacuerdos los resuelve una tercera persona, y las reglas se ajustan antes de clasificar el resto. Antes de mirar los resultados se fija un mínimo de casos por categoría: por debajo de ese mínimo, el informe da conteos sin porcentajes.

Qué cuenta como derivación y qué cuenta como intento de manipulación

Derivación a una persona es el evento de transferencia registrado en PanelCRM, en el que una persona de la organización toma la conversación. Un mensaje del agente que dice "te va a contactar alguien" sin transferencia registrada no cuenta como derivación.

Intento de manipulación es un mensaje de la persona que busca que el agente actúe fuera de sus reglas, obtenga datos que no debe entregar o revele sus instrucciones. Una pregunta legítima que el agente no puede responder no es un intento de manipulación, aunque termine derivada.

Qué vamos a publicar y qué no

Vamos a publicar: los indicadores con su denominador y su período; la tabla de motivos de derivación; la tabla de intentos y respuestas del agente; el método completo, con el acuerdo entre clasificadores; los límites; y un archivo CSV con los conteos agregados, sin texto de conversaciones.

No vamos a publicar: mensajes textuales, datos que permitan identificar a una persona, porcentajes de categorías con menos casos que el mínimo fijado, ni generalizaciones más allá de las organizaciones estudiadas. Cada número con su denominador.

Cuándo se publica

La fecha de cierre de la incorporación de organizaciones y de la exportación de datos se anuncia en esta página. Con los datos clasificados y la revisión legal terminada, los resultados se publican en esta misma URL, con su fecha. Si para el cierre no hay datos suficientes para sostener los indicadores, lo vamos a informar en esta página y el estudio no se va a publicar en una versión reducida.

Cómo sumar tu organización

Pueden participar organizaciones que atienden por WhatsApp con SmartBot y PanelCRM: empresas, distribuidoras, corralones, municipios y otros organismos.

1. Escribinos por WhatsApp desde el botón de esta página.
2. Revisamos con vos el alcance: qué línea, qué período y qué tipo de conversaciones.
3. Firmás la autorización escrita, con la decisión sobre si tu organización aparece con nombre.
4. Exportamos y anonimizamos las conversaciones antes del análisis.
5. Revisás el texto que menciona a tu organización antes de publicarlo.

Cada organización participante recibe el informe de su propia línea y una sesión de resultados con su equipo. Tu línea, con método.

Límites que ya sabemos que va a tener

No representa a todos los agentes de IA. Mide organizaciones que usan SmartBot, con sus reglas de derivación. Los resultados no se pueden extender a otras herramientas ni a otros sectores sin más datos.

Las reglas de cada organización pesan. Un agente configurado para derivar todo precio especial va a derivar más que uno que no los recibe. El informe describe las reglas configuradas en cada caso.

Clasificar tiene una parte de criterio. Por eso se publica el acuerdo entre clasificadores y las reglas para resolver dudas.

Un intento de manipulación que no se nota no se cuenta. El estudio cuenta los intentos que se pueden reconocer en la conversación. Lo que no se ve, no se cuenta.

Qué vamos a hacer con los resultados

Los resultados van a alimentar dos decisiones de diseño que MoPッ aplica en cada implementación: los criterios de derivación, que explicamos en cuándo un agente de IA deriva a una persona, y los límites sobre lo que el agente puede hacer sin aprobación, que están en seguridad y datos en SmartBot y PanelCRM. Si los datos muestran que un criterio deriva de más o de menos, lo vamos a decir y a cambiar.