Synthetische respondenten: wat 19 studies zeggen over AI in marktonderzoek
Ik wil een klein experimentje met je doen. Kies een getal tussen 1 en 100. Niet te lang over nadenken.
Tijdens het webinar deden we dit live aan tafel. Het antwoord: 72. Een prima getal. Maar stel dezelfde vraag aan een AI, en in 78% van de gevallen krijg je hetzelfde antwoord: 42. Inderdaad, het antwoord op alles.
Nu zijn mensen ook niet perfect willekeurig. Vraag je om een getal onder de 10, dan kiezen we vaak een 4 of een 7, omdat die het meest "random" voelen. (AI kiest daar trouwens ook heel vaak 7.) Maar 78% voor één getal, terwijl elk getal bij toeval zo'n 1% kans zou moeten hebben? Dat is een behoorlijke bias.
Grappig, tot je bedenkt dat diezelfde AI steeds vaker wordt aangeboden om je doelgroep na te doen.
Wat is een synthetische respondent?
Een synthetische respondent is een AI die zich voordoet als een echte respondent. In plaats van echte mensen te vragen wat ze van je nieuwe verpakking vinden, of hoeveel ze van je merk houden op een schaal van 1 tot 5, stel je die vraag aan een model dat die mensen simuleert.
Je snapt de aantrekkingskracht. Het kan in potentie goedkoop en snel. Geen panel, geen veldwerk, geen weken wachten. Er wordt dan ook steeds meer van aangeboden.
Alleen: is het ook goed? Daar is in 2026 flink onderzoek naar gedaan. Een meta-analyse zette 19 studies op een rij met precies die vraag: hoe goed zijn synthetische respondenten anno 2026?
Hoe test je een digitale tweeling?
De opzet is eigenlijk best slim. Je begint met grote groepen echte mensen en stelt ze zo'n 500 vragen: over hun attitudes, hun zelfbeeld, noem maar op. Op basis daarvan bouw je van elke persoon een kopie, een digitale tweeling.
Daarna stel je beide, de echte persoon en de tweeling, een reeks nieuwe vragen. En dan kijk je: komen de antwoorden overeen?
Dat zou je hopen. Het hele idee van een synthetische respondent is immers dat hij antwoordt zoals de echte persoon zou doen.
Een correlatie van 0,20: wat betekent dat?
De samenhang tussen de antwoorden van de tweeling en die van de echte persoon is 0,20. Dat is niet best. Het is niet nul, er zit dus wel iets in, maar hoog is het zeker niet.
Nu kun je zeggen: prima, dan vraag ik gewoon heel veel tweelingen. Vergelijk het met een thermometer die steeds twee graden te hoog of te laag zit. Doe genoeg metingen, en als die afwijking willekeurig is, middelt ze uit. Dan kun je bijvoorbeeld nog steeds zien welke van twee verpakkingen beter scoort. Alleen zit je er absoluut gezien naast: waar het echte verschil tussen een 3,5 en een 4,5 lag, ligt het bij de AI misschien tussen een 2,5 en een 3,5.
De auteurs noemen dit het funhouse mirror effect, oftewel het lachspiegeleffect. Je ziet jezelf er nog wel in terug, maar extreem vertekend.
En dat "als die afwijking willekeurig is"? Daar gaat het mis.
Waarom de afwijking niet willekeurig is
De vertekening van synthetische respondenten gaat een vaste kant op. Dat maakt ze anno 2026 lastig inzetbaar. De onderzoekers vonden een hele reeks problemen.
Iedereen wordt gemiddeld. We zeggen vaak dat AI content gemiddeld maakt. Het maakt ook de uitkomsten van je marktonderzoek gemiddeld. Waar echte mensen op een vraag over een merk alles geven van een 1 tot een 7, zitten de tweelingen tussen een 4 en een 6. De hele range waarin de actie plaatsvindt, wordt smaller. Het gemiddelde kan dan nog in de buurt liggen, maar bij 64% van de vragen week het gemiddelde van de tweelingen significant af van dat van de echte mensen.
Stereotypes worden uitvergroot. Het model leert op basis van demografie wie je bent, en voorspelt op basis van soortgelijke mensen. Is een merk bij jongeren net iets geliefder dan bij ouderen, dan maakt de AI daar een groter verschil van. Voor subgroepanalyses wordt het gebruik van synthetische respondenten dan ook ten strengste afgeraden. Wil je puur marktbreed iets weten, dan kan het, met alle mitsen en maren. Maar eerlijk is eerlijk: wie gaat doorvragen, belandt al snel bij die subgroepen.
Er is een elitebias. Het model blijkt een stuk accurater voor hoger opgeleide en rijkere mensen. Waarschijnlijk is het daar simpelweg meer op getraind.
De tweeling is hyperrationeel. En mensen zijn dat niet. Niemand is dat. Sociale wenselijkheid en andere psychologische effecten vallen weg. Neem het contrasteffect: zie je eerst iets duurs en daarna iets normaals, dan voelt dat tweede goedkoper. Dat komt uit elke handmatige survey naar voren. Bij de tweeling verdwijnt het, terwijl daar als je het mij vraagt juist de actie zit.
Hij is pro-tech. Vraag wat de tweeling van de nieuwe iPhone vindt, en hij wordt positiever. Vraag naar handschilderen, en hij wordt negatiever.
En hij praat je naar de mond. Er zit een duidelijke positivity bias in: de tweeling is steeds positiever dan de echte persoon. Denk even na over wat dat betekent als je als brandmanager je nieuwe strategie aan het toetsen bent. Het antwoord dat je krijgt? Perfecte strategie. Beste strategie ooit geschreven. 😅
Klinkt als iets wat je kunt fixen, toch? Een logische oplossing: gooi meerdere modellen over elkaar heen, dan leg je niet al je eieren in één mandje. Helaas, dan wordt het erger. Als de modellen dezelfde kant op fout zitten, zitten ze met z'n allen nog meer fout. En het opvallende: juist de duurste modellen, die de meeste tokens verbruiken, correleren sterker met elkaar. Ze bewegen eensgezind dezelfde kant op, met een voorspelling die niet klopt.
Wat ik het lastigste hieraan vind: er komt altijd een antwoord uit. En omdat er een antwoord uitkomt, nemen mensen het al snel voor waar aan. We kennen dat van surveydata, waarvan we weten dat die minder goed verklaart dan neurodata. Weet je dat niet, en hou je dat niet continu in je achterhoofd, dan neem je zomaar aan dat het antwoord klopt. Dat doet het waarschijnlijk niet. Daarom zou ik synthetische respondenten niet inzetten om iets te toetsen.
Kort samengevat: er zit wat in. Letterlijk zo'n 20%. De andere 80% is ruis die je een bepaalde kant op duwt. En dat is niet lekker.
Wat wél werkt? Dat laten we zien in het webinar
Dit fragment komt uit ons lunch-webinar Neuromarketing & AI: De 2026 Update, dat ik samen met Tom van Bommel gaf. Na de synthetische respondenten gingen we verder met predictive eye-tracking, met wat het brein doet met AI-reclame, en met wat er verandert als straks een AI-agent de aankoop voor je doet. En we bespreken waar synthetisch onderzoek wél bruikbaar is.
Benieuwd? Kijk het hele webinar gratis terug, inclusief de sheets en de key insights als download.
NL
EN