Rand Fishkin oraz Patrick O’Donnell przeprowadzili obszerne badanie sprawdzające, jak spójne są odpowiedzi narzędzi AI przy rekomendowaniu marek i produktów. Projekt objął 600 wolontariuszy, którzy wykonali łącznie 2961 zapytań w trzech najpopularniejszych narzędziach AI w USA: ChatGPT, Claude i Google AI.

Jest to krótka charakterystyka przygotowana przez AI i pełni funkcję informacyjną, a nie interpretacyjną. Ludzka praca kończy się tutaj na selekcji badań i raportów, z którymi z tych czy innych powodów warto się moim zdaniem zapoznać.

Jak przeprowadzono badanie niespójności AI

  • Kto przeprowadził badanie: Rand Fishkin (SparkToro) oraz Patrick O’Donnell (Gumshoe.ai) – eksperci z branży marketingu cyfrowego i analizy danych
  • Próbka badawcza: 600 wolontariuszy wykonało łącznie 2961 zapytań
  • Metodologia: Uczestnicy wielokrotnie zadawali te same pytania trzem narzędziom AI (ChatGPT, Claude, Google AI) i zapisywali otrzymane odpowiedzi
  • Zakres czasowy: Badanie przeprowadzono w listopadzie i grudniu 2025 roku
  • Rynek/region: Skupiono się głównie na rynku amerykańskim, choć uczestnicy pochodzili z różnych lokalizacji

Rekomendacje produktowe AI mają charakter losowy

Wyniki badania pokazują, że narzędzia AI są znacznie bardziej losowe w swoich rekomendacjach, niż mogłoby się wydawać:

  • Prawdopodobieństwo otrzymania identycznej listy: Mniej niż 1 na 100 zapytań zwraca tę samą listę marek.
  • Spójność kolejności: Prawdopodobieństwo otrzymania tej samej listy w tej samej kolejności to mniej niż 1 na 1000.
  • Liczba rekomendacji: AI losowo przedstawiają od 2-3 do ponad 10 rekomendacji w odpowiedzi na to samo pytanie.
  • Widoczność marek: Mimo losowości, najczęściej pojawiające się marki występują w 55-97% odpowiedzi.
  • Różnorodność promptów: Użytkownicy prawie nigdy nie tworzą podobnych zapytań, nawet mając tę samą intencję.

Źródło:

  1. NEW Research: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility

Te artykuły powinny Cię zainteresować

  1. Badanie 2,5 mln linków wewnętrznych pokazuje, że seowcy potrafią linkować
  2. Badanie korelacji cech contentu z widocznością w AI Search
  3. Czynniki techniczne w AI Search – badanie korelacyjne
  4. Topical Authority istotne także w kontekście AI Overview. Na to wskazują wnioski z analizy fan-out queries
  5. Ćwierć miliarada dolarów w narzędziach do monitoringu AI Search

O autorze

Nazywam się Michał Małysa i od wielu lat zajmuję się zawodowo SEO oraz analizą treści, a od 2023 roku w zakres moich obowiązków i zainteresowań dość naturalnie weszło AI. Na stronie MałySEO porządkuję wiedzę o pozycjonowaniu stron internetowych, AI Search oraz działaniu LLM-ów. Prowadzę również MałySEO Newsletter, do którego subskrypcji serdecznie Cię zachęcam na podstronie najlepszego w Polsce newslettera SEO.

Jako że przygotowanie materiałów do MałySEO Newslettera oraz na bloga zajmuje nieco czasu, może zaświtać Ci w głowie dość miły z mojej perspektywy pomysł drobnego rewanżu. Jeżeli uznasz, że lektura tego wpisu była dla Ciebie czymś więcej, niż tylko szybkim odklepaniem randomowej internetowej treści, możesz postawić mi kawkę na buycoffee.to. Z góry dziękuję!

Postaw mi kawę na buycoffee.to

Jeżeli z jakiegoś powodu potrzebujesz się ze mną skontaktować, wyślij mail na adres kontakt[at]michalmalysa.pl