Synthetische panels vangen het gemiddelde, maar missen waar de vraag als eerste verschuift

Synthetische respondenten slagen niet voor hun eerste serieuze toets. Nielsen Norman Group liet op 16 oktober 2026 zien dat panels van AI-respondenten wel tot dezelfde conclusie komen als echte mensen, maar de zeldzame antwoorden kwijtraken. Uit een bijgewerkte benchmark blijkt bovendien dat ze verschillen tussen segmenten verzinnen. Dat raakt concepttests, segmentatie, targeting en de onderbouwing van elke budgetaanvraag.

Wat ontdekte Nielsen Norman Group precies?

Het synthetische panel had de grote lijn goed, maar de details niet. NN/G zette 120 AI-respondenten van het platform Synthetic Users naast een eerdere enquête onder 604 professionals uit tech en design. Beide groepen kregen dezelfde open vraag en kwamen tot dezelfde algemene conclusie.

Onder die conclusie zaten de verschillen. 84% van de AI-respondenten gebruikte UX-jargon, tegenover ongeveer 70% van de echte deelnemers, een statistisch significant verschil. De echte deelnemers gebruikten samen meer dan 50 verschillende omschrijvingen, het synthetische panel kwam niet verder dan een stuk of twaalf. De ongebruikelijke en vaktechnische termen uit het echte onderzoek ontbraken volledig. NN/G noemt dat mode collapse: het model herhaalt het vaakst gegeven antwoord en laat de long tail vallen.

Die eenzijdigheid ging zelfs tegen de samenstelling van het panel in. Slechts 20% van het synthetische panel bestond uit UX-professionals, tegenover 67% van de echte deelnemers. Toch neigden de AI-antwoorden sterker naar het dominante antwoord. Van de synthetische productmanagers gebruikte 93% UX-jargon, tegenover 44% van de echte productmanagers. Het profiel veranderde, het antwoord bleef hetzelfde.

NN/G plaatst wel één kanttekening: het platform herformuleerde de vraag soms, waardoor de onderzoekers niet volledig konden bepalen wat de respondenten te zien kregen. De conclusie is toch helder. Synthetische data geeft in het beste geval het meest gangbare antwoord weer. Voor minder gangbare antwoorden en opkomende thema's heb je echte deelnemers nodig. Synthetische uitkomsten zijn een startpunt, geen bewijs.

Waarom wijzen synthetische panels het verkeerde segment aan?

Synthetische panels verwarren demografie met opvattingen. De arXiv-preprint When Synthetic Users Fail (v2, 4 oktober 2026) testte vier taalmodellen uit twee modelfamilies en legde de uitkomsten naast de General Social Survey en de World Values Survey. Op het niveau van individuele antwoorden presteerde geen enkel taalmodel beter dan de beste eenvoudige vergelijkingsmethode zonder AI.

Voor marketeers zijn de resultaten per segment het belangrijkst. De modellen schatten de invloed van demografie op opvattingen veel hoger in dan die bij echte mensen is. In een opdracht om het juiste doelsegment te kiezen, maakten ze de verschillen tussen segmenten twee tot vier keer zo groot. In de helft van de Amerikaanse gevallen en in de meeste internationale vergelijkingen wezen ze het verkeerde segment aan. Ze zagen tegenstellingen tussen groepen die er niet zijn, en grotere modellen deden het niet beter.

Het mechanisme is eenvoudig. Een synthetische respondent antwoordt zoals het model denkt dat iemand met dat profiel zou antwoorden. Dat is een stereotype, verpakt als steekproef. Een segmentatie die daarop leunt, lijkt scherper dan de markt werkelijk is, en precies die scherpte is de fout. Targeting, mediaverdeling en conceptkeuze sturen dan op een verschil dat echte klanten nooit hebben laten zien.

Waarom is de staart belangrijker dan het gemiddelde?

Verschuivingen in de vraag beginnen in de staart, niet bij de consensus. Een synthetische respondent is de beste gok van een model naar wat iemand zou zeggen, en die gok is gebaseerd op de consensus van gisteren. Het is een mening op grote schaal, geen waargenomen gedrag.

De consensus laat zien waar de markt het al over eens is, en dat zien je concurrenten ook. Het voordeel zit ergens anders: in de ongewone formulering, de nichebehoefte, de kleine groep die een nieuwe vraag stelt. Daar komt een categorie in beweging, maanden voordat de verkoopcijfers het bevestigen. De markt beweegt eerst, en dat begint aan de randen.

Het echte panel van NN/G kwam met meer dan 50 omschrijvingen, waaronder vaktermen. Het synthetische panel bleef steken op een stuk of twaalf, zonder één zeldzame. Pas dat toe op een concepttest. Het synthetische panel bevestigt het voor de hand liggende idee en mist de early adopters van het volgende. Een methode die de staart wegpoetst, poetst ook het vroegste signaal van verandering weg.

Waar zijn synthetische respondenten wél bruikbaar?

Synthetische respondenten zijn geschikt om te oefenen. Er is al veel over gepubliceerd, maar het vakgebied is nog jong. Synthetic Market Research 101: State of Industry, een overzicht dat op 10 oktober 2026 is bijgewerkt, telt 502 publicaties over synthetische respondenten, waarvan 272 direct relevant. Volgens dat overzicht zijn de richtlijnen voor marktonderzoek nog in ontwikkeling. Voor digital twins van consumenten is nog minder onafhankelijk bewijs.

Ook de beroepsorganisaties bewegen. In mei 2026 publiceerde de Amerikaanse onderzoeksvereniging AAPOR Responsible AI Integration in Survey Research. Dat raamwerk beoordeelt AI in enquêteonderzoek op validiteit, betrouwbaarheid, gevoeligheid en prestaties. Het pleit voor duidelijke regels over openheid en richt een nieuw AI-subcomité op.

Ook in de praktijk wordt dezelfde grens getrokken. The Alchemic noemt in 10 Market Research Trends Shaping Strategy in 2026 twee verantwoorde toepassingen: vragenlijsten vooraf testen en analyses oefenen. De omvang van segmenten bepalen hoort daar niet bij, omdat de modellen juist de verschillen tussen groepen vertekenen. Dat levert een werkbare verdeling op:

• Gebruik synthetische panels om vragen aan te scherpen, gespreksleidraden te testen en analyses te oefenen voordat het veldwerk begint.
• Gebruik ze niet om segmenten te kwantificeren, doelgroepen te kiezen of budgetten te onderbouwen.

Wat moet je controleren voordat er budget verschuift?

Elke synthetische uitkomst is een hypothese, tot echt gedrag haar bevestigt. Vertrouwen zonder bewijs is ook maar een aanname. Steunt een beslissing op een synthetisch resultaat, stel dan deze drie vragen.

1. Klopt het ook buiten je eigen data? Je eigen klanten laten alleen je eigen werkelijkheid zien. Toets de uitkomst aan wat de bredere markt doet.
2. Blijft het verschil tussen segmenten overeind in echt gedrag? Ga ervan uit dat synthetische verschillen overdreven zijn, tot waargenomen data het tegendeel laat zien.
3. Waar is de staart? Levert een onderzoek geen enkel ongewoon antwoord op, dan heeft de methode ze weggefilterd. Zoek ze dan ergens anders.

Waargenomen gedrag laat zien wat een synthetisch panel niet kan laten zien. Hoe mensen zoeken, vergelijken en vragen stellen via Search, Social en AI toont hoe vraag ontstaat voordat die omzet wordt, inclusief de staart die synthetische panels wegpoetsen. Daar kijkt Trendata naar: naar waar mensen echt naartoe bewegen, niet naar wat een model denkt dat ze zullen zeggen.

Een synthetisch panel vertelt je wat een model denkt dat mensen vinden. Een budget hoort te volgen wat mensen werkelijk doen.

Veelgestelde vragen

Zijn synthetische respondenten betrouwbaar voor marktonderzoek?

Alleen voor het meest gangbare antwoord. Nielsen Norman Group zag dat synthetische panels tot dezelfde conclusie kwamen als echte mensen, maar de zeldzame antwoorden misten. Een benchmark over meerdere onderzoeksdomeinen vond dat geen enkel taalmodel op individueel niveau beter presteerde dan de beste eenvoudige vergelijkingsmethode. Behandel synthetische uitkomsten daarom als hypotheses, niet als bewijs.

Kun je synthetische respondenten gebruiken voor segmentatie of targeting?

Nee. Volgens de benchmark When Synthetic Users Fail maakten de modellen de verschillen tussen segmenten twee tot vier keer zo groot. In de helft van de Amerikaanse gevallen kozen ze het verkeerde segment, en ze zagen tegenstellingen tussen groepen die niet bestaan. Grotere modellen deden het niet beter.

Waarvoor zijn synthetische respondenten wel geschikt?

Om vragenlijsten vooraf te testen, gespreksleidraden te verbeteren en analyses te oefenen voordat het veldwerk begint. Elke uitkomst die targeting, segmentomvang of budget stuurt, toets je eerst aan waargenomen marktgedrag.

Bronnen

• Synthetic Users vs. Human Respondents: Same Conclusion, Less Variation (Nielsen Norman Group, 16 Oct 2026)
• When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses (arXiv 2607.26348v2, 4 Oct 2026)
• Synthetic Market Research 101: State of Industry (updated 10 Oct 2026)
• AAPOR Releases New Report from Task Force on Responsible AI Integration in Survey Research
• 10 Market Research Trends Shaping Strategy in 2026 (The Alchemic)