Zespół Surfer SEO przeprowadził test porównujący odpowiedzi uzyskane z API modeli językowych (ChatGPT, Perplexity) z wynikami scrapowanymi bezpośrednio z interfejsów tych platform. Badanie objęło 1000 zapytań dla każdego narzędzia i ujawniło znaczące różnice w długości odpowiedzi, liczbie źródeł oraz wykrywanych brandach. Oto najważniejsze ustalenia z analizy przeprowadzonej przez Jakuba Sadowskiego i Wojciecha Korczyńskiego.

API zwraca inne wyniki niż interfejs użytkownika

Jak pokazuje badanie Surfer SEO, odpowiedzi uzyskane przez API różnią się zasadniczo od tego, co widzą użytkownicy w interfejsie ChatGPT czy Perplexity. W przypadku ChatGPT odpowiedzi z API były znacznie krótsze (średnio 406 słów) niż scrapowane odpowiedzi (743 słowa). Około 23% odpowiedzi z API w ogóle nie uruchamiało wyszukiwania internetowego, podczas gdy scrapowane wyniki zawsze korzystały z web search.

Autorzy badania zwracają uwagę na kluczową różnicę w cytowanych źródłach. API nie podawało żadnych źródeł w około 25% przypadków, podczas gdy scrapowane odpowiedzi zawsze zawierały źródła – średnio 16 w porównaniu do 7 w API. Podobne rozbieżności wystąpiły w wykrywaniu brandów: API w 8% przypadków w ogóle nie identyfikowało żadnych marek, choć gdy już je wykrywało, znajdowało ich więcej (średnio 12 vs 9).

Test przeprowadzony dla Perplexity dał podobne rezultaty. Jak opisują autorzy, odpowiedzi z API były krótsze (332 słowa vs 433), zawierały mniej źródeł (około 7 vs zawsze 10), a w 5% przypadków pomijały nazwy brandów na rzecz ogólnych opisów.

Overlap między źródłami jest minimalny

Wojciech Korczyński, data scientist w Surfer, podkreśla najważniejszy wniosek z badania: różnice między odpowiedziami z API a scrapowanymi są tak duże, że monitorowanie widoczności poprzez API jest całkowicie błędne. Dane pokazują, że tylko 24% brandów pokrywa się między wynikami z API a scrapowanymi odpowiedziami ChatGPT. Dla źródeł overlap wynosi zaledwie 4%.

W praktyce oznacza to, że narzędzia oparte na API mogą wskazywać źródła i marki, które w rzeczywistości w ogóle nie pojawiają się w odpowiedziach widocznych dla użytkowników. Jak wyjaśniają autorzy, optymalizacja pod kątem wyników z API prowadzi do optymalizacji pod niewłaściwe dane – źródła uznane za istotne w API mogą nie mieć żadnego znaczenia w prawdziwych wynikach ChatGPT.

Badanie podkreśla również niezbyt odkrywczy fakt, że API to surowy model, podczas gdy interfejsy takie jak ChatGPT czy Perplexity dodają dodatkowe warstwy: system prompty, logikę interfejsu, dodatkowe źródła danych i nieujawnione modyfikacje. Te różnice sprawiają, że monitoring oparty wyłącznie na danych z API nie odzwierciedla rzeczywistego doświadczenia użytkowników.

O badaniu i metodologii

Pełny artykuł autorstwa Jakuba Sadowskiego zawiera szczegółowe wykresy pokazujące rozkład długości odpowiedzi, liczbę źródeł oraz wskaźniki Jaccard Index ilustrujące overlap między wynikami. W materiale znajdziesz również dodatkowe testy z wykorzystaniem wyciekniętego system prompt OpenAI z GitHub (wyniki były niemal identyczne jak bez niego) oraz porównanie zachowania obu platform w kontekście web search.

Autorzy opisują również kontekst powstania badania – pytanie zadane podczas konferencji Chiang Mai SEO przez Felixa Nortona z Woww – oraz proces współpracy z zespołem data science. Warto przeczytać oryginał, żeby zobaczyć dokładne dane liczbowe, interaktywne wykresy oraz pełną analizę różnic między ChatGPT a Perplexity. Artykuł zawiera także wzmiankę o kolejnym planowanym badaniu dotyczącym czynników rankingowych w LLM-ach.

Źródło

Scraped AI Answers vs. API Results from LLMs. Is There a Difference? [AI Search Study]

Te artykuły powinny Cię zainteresować

  1. AI Slop w SEO: proces, indeksacja, wyniki z GSC [CASE STUDY]
  2. Badanie korelacji cech contentu z widocznością w AI Search
  3. ChatGPT jak Google Maps. Local Knowledge Panel jest całkiem wygodny
  4. Na 62 teksty o Core Update 35% to AI slop. Jak radzi sobie z tym Deep Research?
  5. Wyszukiwarki wciąż najbardziej zaufanym źródłem wiedzy

O autorze

Nazywam się Michał Małysa i od wielu lat zajmuję się zawodowo SEO oraz analizą treści, a od 2023 roku w zakres moich obowiązków i zainteresowań dość naturalnie weszło AI. Na stronie MałySEO porządkuję wiedzę o pozycjonowaniu stron internetowych, AI Search oraz działaniu LLM-ów. Prowadzę również MałySEO Newsletter, do którego subskrypcji serdecznie Cię zachęcam na podstronie najlepszego w Polsce newslettera SEO.

Jako że przygotowanie materiałów do MałySEO Newslettera oraz na bloga zajmuje nieco czasu, może zaświtać Ci w głowie dość miły z mojej perspektywy pomysł drobnego rewanżu. Jeżeli uznasz, że lektura tego wpisu była dla Ciebie czymś więcej, niż tylko szybkim odklepaniem randomowej internetowej treści, możesz postawić mi kawkę na buycoffee.to. Z góry dziękuję!

Postaw mi kawę na buycoffee.to

Jeżeli z jakiegoś powodu potrzebujesz się ze mną skontaktować, wyślij mail na adres kontakt[at]michalmalysa.pl