Syntetyczni respondenci i badania z AI: kiedy można im ufać

Czym są syntetyczni respondenci i jak działają

Mechanizm jest prosty. Badacz lub narzędzie opisuje modelowi językowemu osobę: „kobieta, 34 lata, mieszka w średnim mieście, ma dwoje dzieci, kupuje online raz w tygodniu”. Potem zadaje pytanie z ankiety. Model odpowiada tak, jak jego zdaniem odpowiedziałaby taka osoba. Powtarzając to dla setek opisów, można w kilka minut uzyskać coś, co wygląda jak wyniki badania.

W literaturze naukowej takie zbiory nazywa się czasem próbami krzemowymi (ang. silicon samples). Termin pochodzi z artykułu Lisy Argyle i współautorów opublikowany w 2023 r. w czasopiśmie „Political Analysis”. Na rynku działają też narzędzia komercyjne, które sprzedają „wirtualne panele” albo „syntetyczne persony” do testowania koncepcji, nazw i komunikatów.

Kluczowe jest jedno rozróżnienie. Syntetyczna odpowiedź nie jest pomiarem opinii żadnego człowieka. Jest przewidywaniem modelu, opartym na danych, na których go wytrenowano. To, czy takie przewidywanie jest trafne, trzeba za każdym razem sprawdzić, a nie założyć.

Co pokazały badania: argumenty za

Argyle i współautorzy przygotowali GPT-3, podając mu tysiące opisów socjodemograficznych prawdziwych uczestników kilku dużych amerykańskich sondaży. Następnie porównali odpowiedzi modelu z odpowiedziami tych ludzi. Okazało się, że przy odpowiednim przygotowaniu model odtwarzał rozkłady odpowiedzi wielu grup, a nie tylko powierzchowne podobieństwa. Autorzy nazwali tę właściwość wiernością algorytmiczną (ang. algorithmic fidelity).

To ważny wynik, bo pokazuje, że modele zawierają sporo wiedzy o tym, jak różne grupy ludzi myślą o znanych, szeroko opisanych tematach. Z tego artykułu wywodzi się większość entuzjazmu wokół syntetycznych respondentów.

Ci sami autorzy zastrzegli jednak, że wierność algorytmiczną trzeba sprawdzać osobno dla każdego modelu, tematu i grupy. Ich badanie dotyczyło amerykańskiej polityki i opinii publicznej. Model nie odtwarzał dobrze odpowiedzi osób niezwiązanych z żadną partią, zwłaszcza w danych z 2020 r., a jego dane treningowe kończyły się w 2019 r. Autorzy nie oczekiwali też zgodności na poziomie pojedynczych osób, tylko w ujęciu zbiorczym.

Co pokazały badania: ograniczenia

W 2024 r. James Bisbee i współautorzy opublikowali w tym samym czasopiśmie artykuł o wymownym tytule, pytającym, czy syntetyczne dane mogą zastąpić sondaże, i wskazującym na zagrożenia. Porównali odpowiedzi ChatGPT z wynikami amerykańskiego sondażu wyborczego ANES. Wyniki są pouczające dla każdego, kto rozważa takie narzędzia.

• Średnie wyglądały dobrze. Każda syntetyczna średnia mieściła się w granicach jednego odchylenia standardowego od wyniku sondażu, a kolejność grup była w większości zachowana.
• Zróżnicowanie było za małe. Odpowiedzi syntetyczne były znacznie bardziej skupione niż ludzkie. Na tej podstawie obliczenia wielkości próby sugerowałyby, że wystarczy dużo mniej respondentów, niż naprawdę potrzeba.
• Różnice między grupami były przesadzone. W niektórych podgrupach rozbieżności sięgały 10–20 punktów na skali od 0 do 100.
• Zależności się nie zgadzały. Około 48% współczynników w modelach regresji istotnie różniło się od danych z sondażu, a w około 32% z tych przypadków zależność miała przeciwny kierunek.
• Wynik zależał od sformułowania polecenia. Pominięcie części informacji o osobie wyraźnie zwiększało błąd.
• Wyniki zmieniały się w czasie. Uruchomienia z kwietnia, czerwca i lipca 2023 r. dały różne rezultaty. Autorzy łączą to z niezapowiedzianą aktualizacją modelu i stwierdzają, że dokładne powtórzenie badania nie było możliwe.

Późniejsze prace potwierdzają ten obraz. Analiza 14 modeli opublikowana jako preprint w serwisie arXiv w lutym 2025 r. wykazała, że wygenerowane dane nie odtwarzają zróżnicowania obserwowanego w odpowiedziach ludzi, szczególnie w podgrupach demograficznych, a zmiana polecenia istotnie zmienia wyniki części modeli. Podobny wniosek przyniósł test dostawców danych syntetycznych przeprowadzony przez firmę badawczą Strat7 i omówiony w lipcu 2025 r. przez EMI Research Solutions: wyniki dla pojedynczych pytań wyglądały dobrze, ale spójność odpowiedzi jednej osoby i czynniki wpływające na decyzje nie zgadzały się z zachowaniem ludzi.

Dlaczego ostrożność jest szczególnie ważna w Polsce i w niszach

Najczęściej cytowane badania walidacyjne dotyczyły Stanów Zjednoczonych i polityki, czyli tematu, o którym w sieci jest bardzo dużo tekstów. Wniosku, że model wiernie odtwarza amerykańskich wyborców, nie da się przenieść na polskich klientów hurtowni budowlanej, rodziców kupujących zajęcia dodatkowe czy właścicieli salonów kosmetycznych w małych miastach.

Im węższa grupa i im nowsza kategoria produktu, tym mniej model mógł się o niej dowiedzieć z danych treningowych. Właśnie w takich sytuacjach mała firma najbardziej potrzebuje badania, a syntetyczne odpowiedzi są najmniej wiarygodne. Jeśli celem jest oszacowanie popytu, dane trzeba zebrać od ludzi albo z rynku, co opisujemy w tekście o tym, jak oszacować wielkość rynku na publicznych danych.

Kiedy można ufać badaniom z AI

Ogólna zasada brzmi tak: im mniej kosztuje błąd i im łatwiej go wychwycić w kolejnym kroku, tym bezpieczniej użyć syntetycznych odpowiedzi. Gdy na wyniku opiera się decyzja o pieniądzach, potrzebni są prawdziwi respondenci.

W praktyce najwięcej wartości daje połączenie. AI pomaga przygotować badanie i przyspiesza analizę, a dane pochodzą od ludzi. Jak prowadzić rozmowy, które dostarczą tych danych, opisujemy w tekście o wywiadach pogłębionych z klientami. Gdzie AI rzeczywiście przyspiesza pracę, czyli przy kodowaniu odpowiedzi otwartych i streszczaniu danych, wyjaśniamy w tekście o AI w analizie danych marketingowych.

Jak samodzielnie sprawdzić syntetyczne wyniki

Jeśli chcesz używać syntetycznych respondentów regularnie, najpierw zweryfikuj ich na własnych danych. Procedura nie wymaga zaawansowanej statystyki.

1. Wybierz badanie, które już masz. Najlepiej ankietę z Twojej kategorii, przeprowadzoną na prawdziwych respondentach w Polsce.
2. Odtwórz próbę. Opisz modelowi persony o takich samych cechach jak respondenci i zadaj te same pytania w tej samej kolejności.
3. Porównaj rozkłady, nie tylko średnie. Sprawdź odsetki dla każdej odpowiedzi, odsetek odpowiedzi skrajnych i „nie wiem”.
4. Porównaj różnice między grupami. Jeśli w danych od ludzi młodsi i starsi różnią się o kilka punktów, a w syntetycznych o kilkadziesiąt, model przesadza.
5. Powtórz po kilku tygodniach. Sprawdź, czy ten sam zestaw poleceń daje podobne wyniki. Zapisz wersję modelu.
6. Ustal próg z góry. Zdecyduj przed porównaniem, jaka rozbieżność jest dla Ciebie akceptowalna.

Ogólne zasady planowania badania, wielkości próby i analizy wyników opisujemy w przewodniku o tym, jak zaplanować badanie konsumenckie. Jeśli syntetyczne odpowiedzi posłużyły do wyboru wariantów strony lub oferty, ostateczną odpowiedź da test A/B na stronie.

Jak ocenić dostawcę badań opartych na AI

ESOMAR, międzynarodowe stowarzyszenie branży badawczej, opublikował 12 marca 2024 r. listę 20 pytań dla firm, które kupują usługi badawcze oparte na AI. Lista ma pomóc w rozmowie z dostawcą i obejmuje przejrzystość, ochronę prywatności i bezpieczeństwo danych, odpowiedzialność oraz wykorzystanie danych z badań do trenowania modeli. Kodeks ICC/ESOMAR w wydaniu z 29 września 2025 r. dodał zasady odpowiedzialnego korzystania z AI i rozszerzył obowiązek ujawniania metod, źródeł danych i ograniczeń badania.

• Dostawca pokazuje wyniki walidacji: porównanie odpowiedzi syntetycznych z ludzkimi w Twojej kategorii i w Polsce.
• Walidacja obejmuje rozkłady odpowiedzi i różnice między grupami, a nie tylko średnie.
• Wiesz, jakiego modelu i jakiej wersji używa narzędzie oraz co się dzieje po jego aktualizacji.
• Raport jasno oznacza, które wyniki są syntetyczne, a które pochodzą od ludzi.
• Dostawca wyjaśnia, czy Twoje dane trafiają do trenowania modeli.
• Umowa nie pozwala przedstawiać syntetycznych wyników jako opinii klientów.

Ostatni punkt ma też wymiar etyczny. Prezentowanie wygenerowanych wypowiedzi jako „głosu klientów” w materiałach dla zarządu, inwestorów czy w reklamie wprowadza odbiorców w błąd. Szerzej o zasadach uczciwego korzystania z AI w komunikacji piszemy w tekście o etyce AI w reklamie, a o tym, jak pisać polecenia dla modeli, w poradniku o promptach dla marketerów. Miejsce badań z AI w całym procesie badania rynku pokazujemy w przewodniku o badaniach rynku dla małej firmy.