É seguro usar personas sintéticas? O que aprendemos rodando um estudo 2 vezes: com consumidores vs digital twins

Modelos de IA ficaram bons o suficiente para “fingir” que são pessoas e responder pesquisas como se fossem consumidores reais. Isso acendeu uma promessa forte para quem trabalha com pesquisa de mercado: recrutar 1000 respondentes leva tempo e custa dinheiro, é mais rápido e “barato” criar agentes que imitam humanos e receber respostas em 1 dia.

Bem, a promessa é essa. E o que fizemos aqui na Okiar foi utilizar uma pesquisa real (estudo de principalidade bancária e comportamento financeiro) como base e rodamos a mesma pesquisa testando diferentes abordagens com consumidores/personas sintéticas. Nossas perguntas eram: os dados vão bater? As médias serão iguais? E as distribuições? Em que métricas existe mais ou menos erro? Existem abordagens mais e menos seguras?

A Okiar já havia produzido uma revisão de literatura extensa sobre o assunto e consolidado um framework próprio de personas sintéticas (em muito baseado na replicação de Maier et al, 2025 - LLMs Reproduce Human Purchase Intent via Semantic Similarity Elicitation of Likert Ratings) e sabemos quais os prós e contras de diferentes abordagens como DLR, FLR e SSR. Mas a questão agora é de ordem prática: dá para usar mesmo?

A resposta curta: batem. A resposta não tão curta: alguns dados batem mais, outros menos, e existe sempre um ruído de fundo nas medições conforme as métricas são mais relacionadas a experiências individuais do que ao senso comum (reforçando um status quo social menos do que trazendo dados sobre o que acontece na cabeça das pessoas).

Mas vamos olhar isso mais a fundo.

First of all: o que é uma persona sintética?

Pensa em uma atriz muito bem preparada. Você entrega um roteiro e uma ficha de personagem (“mulher, 34 anos, classe C, usa Nubank no dia a dia mas guarda o dinheiro no Itaú, mãe de 3 filhos e moradora do bairro do Bom Retiro”) e pede para que essa atriz responda um questionário como se fosse aquela pessoa. Isso é a persona sintética. Uma IA/LLM assume um papel e responde como se fosse um consumidor real.

Você pode criar uns 8 personagens representando fatias da sociedade e pedindo para cada um deles responder dezenas de questionários, ou você pode criar personagens que representem 1 consumidor sintético por vez. É um trade-off entre uma persona sintética imitar um território (um range de idade, um range de renda) ou imitar uma unidade de consumidor (idade específica, renda específica). Um vai ter maior assertividade e o outro menor assertividade, um custa mais tokens, dá mais trabalho, exige uma arquitetura mais hard e densa e outro menos. Ps.: testamos isso também: vale a pena investir 500x mais tokens? Qual o ganho?

Persona sintética é a mesma coisa que digital twins/gemeos digitais?

Não. Uma persona sintética representa uma PERSONA, é o lado do território no tradeoff que apresentamos anteriormente. O gêmeo digital é o outro lado do tradeoff, representando uma INDIVIDUALIDADE. Um é um range, outro é uma especificidade.

Acontece que para fazer um bom digital twin você precisa garantir que veracidade (precisa ter conexão com a realidade), representatividade micro (você precisa considerar que diferentes individualidades estão capturadas) e macro (a distribuição final tem que estar parelha com demográficos reais), assim como outros critérios como fidedignidade, parcimonialidade, diversidade e uma boa estatística F (nos termos mais estatísticos) [que equivale a dizer que é preciso que a diferença entre grupos maiores seja maior que a soma das diferenças individuais - quem tá dentro de um grupo tem que ser mais parecido com quem está dentro desse grupo do que quem está fora].

Como a IA responde importa MUITO mais do que quem ela finge ser

Existem 2 decisões independentes em qualquer projeto de pesquisa sintética. A primeira é (a) como você monta a sua persona ou digital twin, e a segunda é (b) como você extrai uma resposta dela (quantitativa ou qualitativa, inclusive), seja a resposta a um roteiro ou um preenchimento likert (como no estudo do Maier e seus colegas, 2025).

Nosso experimento: médias batem, distribuições nem sempre. Atributos de imagem de marca e intenções são melhor replicadas do que questões de memória e experiência individual.

Toda métrica tem 2 lados como em uma moeda, de um lado a média (o quanto os clientes acham que o “app é fácil” por exemplo) e do outro a distribuição (25% acha o app horrível, 75% ama).

As personas sintéticas (quando muito bem feitas, considerando nosso melhor benchmark depois de ter testado empiricamente uma boa dezena de combinações de técnicas e abordagens) acertam a média em até 81% de semelhança. Mas a distribuição é outra história, chegando a ter só 1/3 da variância dos dados em uma abordagem específica (e detalhe: uma das mais usadas) mas podendo chegar até a 58% de semelhança na distribuição no melhor (e honesto) benchmark interno.

Dados sintéticos pegam bem o “contorno" da opinião, mas a multidão de clones faz a variedade real desaparecer.

E veja que isso não é bem um problema de “ah, mas os modelos de LLM ficando melhores essas premissas melhoram”. Porque a questão é como esses modelos são construídos: apoiados no senso comum, no homo economicus por conceito. É como se na vida real cada ser humano, dentre bilhões, fosse um próprio modelo de LLM treinado nas suas experiências pessoais e individuais (o que a literatura chama de aprendizado ontogenético e cultural), enquanto os LLMs que usamos são treinados em um agregado de experiências humanas, contando apenas com aprendizado cultural. Sem sentimento, emoção e todos aqueles componentes que tornam você e eu tão especiais e humanos, e que entregam a variabilidade das respostas que vemos em uma pesquisa verdadeira e não em uma pesquisa com IA.

Talvez se uma pesquisa com 1000 gêmeos digitais tivesse como contexto individual para cada um deles dezenas de anos de história transcritos e gravados no roteiro desses agentes de IA (assim como é para nós seres humanos que carregamos nosso contexto para todo lugar que vamos), ai então pode ser que esses gigantescos contextos respondessem “próximos" de um ser humano, acertando não só média mas distribuição.

Ficando a pergunta: compensaria? As vezes o caminho mais barato é falar com uma pessoa de verdade.

Na prática: personas sintéticas espelham bem a razão humana, mas ainda tem uma longa jornada para aprender a replicar a emoção e experiências individuais. E mesmo que pudessem, o custo seria maior que fazer uma boa pesquisa com humanos reais.

Dá para confiar em um estudo com personas sintéticas?

Depende da decisão que você vai tomar com o dado. Se você quer direção, ranking, tendências macro, testes rápidos de atratividade de produtos, contextos em que a nota média é um bom guia, sim - com aquelas ressalvas.

Agora, se sua decisão precisa dessas diferenças individuais e da distribuição, como revisar planejamento de CX, estratégia de posicionamento e territórios, definição de campanhas de comunicação, usar dados sintéticos pode ser arriscado. Principalmente arriscado porque a nota média pode te dar um falso conforto.

E como comentamos no início, tem algumas métricas que simplesmente não dá para confiar. Memória é uma delas. Em nenhum benchmark tivemos dados confiáveis de lembrança de marca, por exemplo, com marcas como BTG que possui ~40% de awareness nas nossas medições indo para ~90% com consumidores sintéticos. Enquanto Nubank, Itaú, Santander, Bradesco e afins possuiam 100% (que é um dado que é raríssimo em estudos de marca e quem pesquisa isso sabe).

Outro dado crítico foi a própria medição de principalidade (“qual seu banco principal?”) em que o Nubank que já é líder no nosso estudo com ~20% de principalidade, saltou para ~70% com personas sintéticas.

Mas o melhor benchmark acertou muito melhor métricas de imagem de marca, intenção de abrir conta e afins.

Em suma, disposições mais estáveis costumam sempre ser replicadas com melhor confiança.

Como garantir que meu projeto de personas sintéticas traga os melhores insights possíveis?

Métricas como satisfação e lealdade são difíceis de capturar bem com personas sintéticas. Até porque quando você responde sobre isso você está respondendo de acordo com algo que ACONTECEU com você, e a persona sintética nunca pegou fila em banco, nunca tomou um susto usando o app às 23h enquanto tentava fazer um pix para a própria avó e teve a conta temporariamente bloqueada, etc. Quando uma persona dessas responde, ela não está LEMBRANDO de nada, ela está respondendo o que alguém PROVAVELMENTE e TIPICAMENTE diria. Essa é a grande questão.

E embora existam essas limitações de conceito, também podemos dizer que mais do que nunca: um bom questionário quantitativo com escalas validadas e um bom flow, um bom roteiro (com laddering, estrutura de conteúdo, etc); nunca foram tão importantes.

Isso porque em pesquisa o que existem são FONTES DE ERRO. E um bom questionário e um bom roteiro reduzem essas fontes ao invés de aumentar - com consumidor real ou sintético.

In the end of the day: existem muitas formas de se fazer pesquisa sintética, poucas são as que acertam

Consumidor sintético não substitui pesquisa com gente de verdade. Ela deve ser usada com parcimônia, assim como você não deve se alimentar de fast food todos os dias.

Ela é uma boa bússola, ordena bem algumas hipóteses e precisa estar no mesmo lugar de uma pesquisa qualitativa. Ela não confirma o que acontece no mundo real, ela traz cenários possíveis e prováveis (e não com a mesma riqueza de uma boa quali, claro).

Como régua, medição, ela falha. Não tem jeito. Então se for para usar, que seja com método confiável de criação dessas personas, com uma cultura de insights que saiba olhar para esse dado, com bons instrumentos de pesquisa associados e com senso crítico (que é sempre bem vindo em qualquer metodologia).

O que levar daqui

• Pré-teste com sintético mas valide com humanos sempre que possível
• Foque em ter bons questionários e roteiros, independente se quem vai responder é de verdade ou uma IA
• Use as médias com cuidado, use as distribuições com mais cuidado ainda. Nesse nosso experimento tivemos a contraprova, e você, vai ter isso no seu projeto?
• Em pesquisa de marca persona sintética mata o próprio conceito de um brand tracking, não recomendamos usar. Assim como em pesquisa de satisfação.
• O melhor caso de uso da literatura é para testar conceitos e tirar medidas gerais de hábitos e atitudes, aqui funciona relativamente bem
• Persona sintética performa quase tão bem quanto um gêmeo digital (com um ganho marginal de similaridade mas com um aumento expressivo de custo)
• Nunca deixe de falar com seu consumidor real. Pesquisa não é caro, caro é deixar de ouvir quem paga as contas do seu negócio.