¿Es seguro usar personas sintéticas? Lo que aprendimos al correr el mismo estudio 2 veces: consumidores vs. digital twins

Los modelos de IA se volvieron lo bastante buenos como para "fingir" que son personas y responder encuestas como si fueran consumidores reales. Eso encendió una promesa fuerte para quienes trabajan en investigación de mercado: reclutar 1000 respondentes lleva tiempo y cuesta dinero; es más rápido y "barato" crear agentes que imitan humanos y recibir respuestas en 1 día.

Bueno, esa es la promesa. Y lo que hicimos aquí en Okiar fue usar una investigación real (estudio de principalidad bancaria y comportamiento financiero) como base y correr la misma encuesta probando diferentes enfoques con consumidores/personas sintéticas. Nuestras preguntas eran: ¿los datos van a coincidir? ¿Las medias serán iguales? ¿Y las distribuciones? ¿En qué métricas hay más o menos error? ¿Existen enfoques más y menos seguros?

Okiar ya había producido una revisión de literatura extensa sobre el tema y consolidado un framework propio de personas sintéticas (en gran parte basado en la replicación de Maier et al., 2025 - LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings), y conocemos los pros y contras de diferentes enfoques como DLR, FLR y SSR. Pero la cuestión ahora es de orden práctico: ¿se puede usar de verdad?

La respuesta corta: coinciden. La respuesta no tan corta: algunos datos coinciden más, otros menos, y siempre hay un ruido de fondo en las mediciones a medida que las métricas se relacionan más con experiencias individuales que con el sentido común (reforzando un statu quo social, más que trayendo datos sobre lo que pasa en la cabeza de las personas).

Pero veamos esto más a fondo.

Antes que nada: ¿qué es una persona sintética?

Piensa en una actriz muy bien preparada. Le entregas un guion y una ficha de personaje ("mujer, 34 años, clase media-baja, usa Nubank en el día a día pero guarda el dinero en Itaú, madre de 3 hijos y vecina del barrio de Bom Retiro") y le pides a esa actriz que responda un cuestionario como si fuera aquella persona. Eso es la persona sintética: una IA/LLM asume un papel y responde como si fuera un consumidor real.

Puedes crear unos 8 personajes que representen porciones de la sociedad y pedir a cada uno de ellos que responda decenas de cuestionarios, o puedes crear personajes que representen 1 consumidor sintético por vez. Es un trade-off entre que una persona sintética imite un territorio (un rango de edad, un rango de renta) o imite una unidad de consumidor (edad específica, renta específica). Uno tendrá mayor asertividad y el otro menor; uno cuesta más tokens, da más trabajo y exige una arquitectura más densa, el otro menos. (P. D.: también probamos esto: ¿vale la pena invertir 500x más tokens? ¿Cuál es la ganancia?)

¿Persona sintética es lo mismo que digital twins / gemelos digitales?

No. Una persona sintética representa una PERSONA: es el lado del territorio en el trade-off que presentamos. El gemelo digital es el otro lado, representando una INDIVIDUALIDAD. Uno es un rango, el otro es una especificidad.

Ocurre que, para hacer un buen digital twin, necesitas garantizar veracidad (necesita tener conexión con la realidad), representatividad micro (necesitas considerar que diferentes individualidades están capturadas) y macro (la distribución final tiene que estar pareja con demográficos reales), así como otros criterios como fidedignidad, parsimonia, diversidad y un buen estadístico F (en términos más estadísticos) - que equivale a decir que la diferencia entre grupos mayores tiene que ser mayor que la suma de las diferencias individuales: quien está dentro de un grupo tiene que parecerse más a quien está dentro de ese grupo que a quien está fuera.

Cómo responde la IA importa MUCHO más que quién finge ser

Existen 2 decisiones independientes en cualquier proyecto de investigación sintética. La primera es (a) cómo montas tu persona o digital twin; la segunda es (b) cómo extraes una respuesta de ella (cuantitativa o incluso cualitativa), ya sea la respuesta a un guion o un llenado Likert (como en el estudio de Maier y sus colegas, 2025).

Nuestro experimento: las medias coinciden, las distribuciones no siempre

Los atributos de imagen de marca y las intenciones se replican mejor que las preguntas de memoria y experiencia individual.

Toda métrica tiene 2 lados, como una moneda: de un lado la media (cuánto creen los clientes que la "app es fácil", por ejemplo) y del otro la distribución (25% cree que la app es horrible, 75% la ama).

Las personas sintéticas (cuando están muy bien hechas, considerando nuestro mejor benchmark tras haber probado empíricamente una buena decena de combinaciones de técnicas y enfoques) aciertan la media hasta en un 81% de semejanza. Pero la distribución es otra historia: llega a tener solo 1/3 de la varianza de los datos en un enfoque específico (y ojo: uno de los más usados), pudiendo llegar hasta un 58% de semejanza en la distribución en el mejor (y honesto) benchmark interno.

Los datos sintéticos captan bien el "contorno" de la opinión, pero la multitud de clones hace que la variedad real desaparezca.

Y fíjate que esto no es exactamente un problema de "ah, pero los modelos de LLM van mejorando, estas premisas mejoran". Porque la cuestión es cómo están construidos esos modelos: apoyados en el sentido común, en el homo economicus por concepto. Es como si, en la vida real, cada ser humano - entre miles de millones - fuera su propio modelo de LLM entrenado en sus experiencias personales e individuales (lo que la literatura llama aprendizaje ontogenético y cultural), mientras que los LLM que usamos están entrenados en un agregado de experiencias humanas, contando solo con aprendizaje cultural. Sin sentimiento, emoción y todos aquellos componentes que nos hacen a ti y a mí tan especiales y humanos, y que entregan la variabilidad de las respuestas que vemos en una encuesta verdadera y no en una encuesta con IA.

Tal vez, si una encuesta con 1000 gemelos digitales tuviera como contexto individual para cada uno de ellos décadas de historia transcritas y grabadas en el guion de esos agentes de IA (así como es para nosotros, los seres humanos, que llevamos nuestro contexto a todo lugar al que vamos), entonces quizás esos gigantescos contextos responderían "cercanos" a un ser humano, acertando no solo la media, sino la distribución.

Queda la pregunta: ¿compensaría? A veces el camino más barato es hablar con una persona de verdad.

En la práctica: las personas sintéticas reflejan bien la razón humana, pero todavía tienen un largo camino para aprender a replicar la emoción y las experiencias individuales. Y aunque pudieran, el costo sería mayor que hacer una buena investigación con humanos reales.

¿Se puede confiar en un estudio con personas sintéticas?

Depende de la decisión que vayas a tomar con el dato. Si quieres dirección, ranking, tendencias macro, tests rápidos de atractivo de productos, contextos en los que la nota media es una buena guía - sí, con aquellas salvedades.

Ahora bien, si tu decisión necesita esas diferencias individuales y la distribución - como revisar la planificación de CX, la estrategia de posicionamiento y territorios, la definición de campañas de comunicación -, usar datos sintéticos puede ser arriesgado. Arriesgado sobre todo porque la nota media puede darte un falso confort.

Y, como comentamos al inicio, hay algunas métricas en las que simplemente no se puede confiar. La memoria es una de ellas. En ningún benchmark tuvimos datos confiables de recuerdo de marca, por ejemplo: marcas como BTG, que tiene ~40% de awareness en nuestras mediciones, saltaron a ~90% con consumidores sintéticos. Mientras que Nubank, Itaú, Santander, Bradesco y afines tuvieron 100% (un dato rarísimo en estudios de marca, y quien investiga esto lo sabe).

Otro dato crítico fue la propia medición de principalidad ("¿cuál es tu banco principal?"), en la que Nubank - que ya es líder en nuestro estudio, con ~20% de principalidad - saltó a ~70% con personas sintéticas.

Pero el mejor benchmark acertó mucho mejor las métricas de imagen de marca, intención de abrir cuenta y afines. En resumen: las disposiciones más estables suelen replicarse siempre con mayor confianza.

¿Cómo garantizar que mi proyecto de personas sintéticas traiga los mejores insights posibles?

Métricas como satisfacción y lealtad son difíciles de capturar bien con personas sintéticas. Incluso porque, cuando respondes sobre eso, estás respondiendo de acuerdo con algo que TE PASÓ - y la persona sintética nunca hizo fila en un banco, nunca se llevó un susto usando la app a las 23h mientras intentaba hacer un Pix a su propia abuela y tuvo la cuenta temporalmente bloqueada, etc. Cuando una de esas personas responde, no está RECORDANDO nada; está respondiendo lo que alguien PROBABLE y TÍPICAMENTE diría. Esa es la gran cuestión.

Y aunque existan esas limitaciones de concepto, también podemos decir que, más que nunca, un buen cuestionario cuantitativo con escalas validadas y un buen flow, un buen guion (con laddering, estructura de contenido, etc.) nunca fueron tan importantes.

Esto porque, en investigación, lo que existen son FUENTES DE ERROR. Y un buen cuestionario y un buen guion reducen esas fuentes en lugar de aumentarlas - con consumidor real o sintético.

Al final del día: existen muchas formas de hacer investigación sintética, pocas son las que aciertan

Un consumidor sintético no sustituye la investigación con gente de verdad. Debe usarse con parsimonia, así como no deberías alimentarte de fast food todos los días.

Es una buena brújula, ordena bien algunas hipótesis y necesita estar en el mismo lugar que una investigación cualitativa. No confirma lo que pasa en el mundo real; trae escenarios posibles y probables (y no con la misma riqueza de una buena cuali, claro).

Como regla, como medición, falla. No hay vuelta. Así que, si vas a usarlo, que sea con un método confiable de creación de esas personas, con una cultura de insights que sepa mirar ese dato, con buenos instrumentos de investigación asociados y con sentido crítico (siempre bienvenido en cualquier metodología).

Qué llevarse de aquí

• Pre-testea con sintético, pero valida con humanos siempre que sea posible.
• Enfócate en tener buenos cuestionarios y guiones, independientemente de si quien va a responder es de verdad o una IA.
• Usa las medias con cuidado; usa las distribuciones con más cuidado todavía. En este experimento tuvimos la contraprueba - y tú, ¿la vas a tener en tu proyecto?
• En investigación de marca, la persona sintética mata el propio concepto de un brand tracking: no recomendamos usarla. Lo mismo vale para la investigación de satisfacción.
• El mejor caso de uso en la literatura es probar conceptos y tomar medidas generales de hábitos y actitudes - aquí funciona relativamente bien.
• Una persona sintética rinde casi tan bien como un gemelo digital (con una ganancia marginal de similitud, pero con un aumento expresivo de costo).
• Nunca dejes de hablar con tu consumidor real. La investigación no es cara; caro es dejar de escuchar a quien paga las cuentas de tu negocio.