Badanie logów serwerowych z ~900 domen przeprowadzone przez Przemka Charchana z seekio.pl pokazuje, jak często boty AI odpytywały pliki llms.txt w porównaniu z ogólnym ruchem crawlerów AI w okresie od 4 września 2025 do 13 kwietnia 2026.

Treść przygotowana przez AI

Jest to krótka charakterystyka przygotowana przez AI i pełni funkcję informacyjną, a nie interpretacyjną. Ludzka praca kończy się tutaj na selekcji badań i raportów, z którymi z tych czy innych powodów warto się moim zdaniem zapoznać. Opis badania oraz wyimek statystyk powinny pomóc w ocenie, czy dane te są interesujące.

Liczba zapytań o llms.txt i rzeczywisty ruch crawlerów AI w tym samym okresie

Przez 191 dni, na ~900 domenach, plik llms.txt i jego warianty zebrały łącznie 1227 zapytań. W tym samym czasie boty powiązane z AI wykonały blisko 45 milionów requestów do tych samych serwisów. Poniżej kilka konkretnych danych z analizy:

  • W ciągu całego badanego okresu odnotowano 1227 zapytań o pliki llms.txt, llms-full.txt i llms-ctx.txt łącznie – na ~900 domenach daje to średnio około 6 zapytań dziennie.
  • Wśród podmiotów odpytujących pliki llms.txt nie zidentyfikowano ani jednego prawdziwego bota AI – dominował agregator danych Dataprovider.com (794 requesty) i przeglądarka Chrome (392 requesty, prawdopodobnie manualne sprawdzenia).
  • Ogólny ruch crawlerów powiązanych z AI wyniósł w tym samym czasie 44 996 657 requestów od 88 unikalnych botów.
  • Liderem pod względem liczby requestów był GPTBot (OpenAI) z wynikiem 8 798 505 zapytań, co stanowi ponad 19% całego zidentyfikowanego ruchu AI.
  • Drugi pod względem aktywności był PetalBot (Huawei) z 8 291 994 requestami – crawler powiązany z wyszukiwarką Petal Search i rozwojem AI Huawei.
  • OpenAI łącznie (GPTBot, OAI-SearchBot, ChatGPT-User) odpowiadała za około 25,6% całego ruchu AI, Anthropic (ClaudeBot) za 13,2%, Meta za 6,5%, a Google (Gemini-related bots) za zaledwie 0,4%.

Badanie logów serwerowych przeprowadzone przez seekio.pl

  • Kto przeprowadził badanie: Przemek Charchan z seekio.pl – autor polskiego bloga o SEO i AI, który przeprowadził analizę jako kontynuację wcześniejszego badania z 2025 roku dotyczącego tego samego tematu.
  • Próbka badawcza: Logi serwerowe z około 900 domen, łącznie blisko 45 milionów zidentyfikowanych requestów od botów AI oraz 1227 zapytań dotyczących plików llms.txt.
  • Metodologia: Analiza surowych logów serwerowych – identyfikacja botów na podstawie User-Agent, zliczanie requestów według ścieżek URL i podmiotów odpytujących.
  • Zakres czasowy: 191 dni, od 4 września 2025 do 13 kwietnia 2026; badanie jest kontynuacją wcześniejszej analizy obejmującej okres 13 maja – 1 września 2025.
  • Rynek/region: Brak określonego ograniczenia geograficznego – analiza dotyczy ruchu botów na domenach zarządzanych przez autora badania.

Pełna analiza zawiera m.in. zestawienie TOP 15 crawlerów AI, rozkład godzinowy zapytań o llms.txt oraz szczegółowy podział ruchu według organizacji. Dane dostępne są w oryginalnym artykule.

Źródło

  1. Roboty AI ignorują llms.txt, ale skanują internet na potęgę – seekio.pl

O autorze

Nazywam się Michał Małysa i od wielu lat zajmuję się zawodowo SEO oraz analizą treści, a od 2023 roku w zakres moich obowiązków i zainteresowań dość naturalnie weszło AI. Na stronie MałySEO porządkuję wiedzę o pozycjonowaniu stron internetowych, AI Search oraz działaniu LLM-ów. Prowadzę również MałySEO Newsletter, do którego subskrypcji serdecznie Cię zachęcam na podstronie najlepszego w Polsce newslettera SEO.

Jako że przygotowanie materiałów do MałySEO Newslettera oraz na bloga zajmuje nieco czasu, może zaświtać Ci w głowie dość miły z mojej perspektywy pomysł drobnego rewanżu. Jeżeli uznasz, że lektura tego wpisu była dla Ciebie czymś więcej, niż tylko szybkim odklepaniem randomowej internetowej treści, możesz postawić mi kawkę na buycoffee.to. Z góry dziękuję!

Postaw mi kawę na buycoffee.to

Jeżeli z jakiegoś powodu potrzebujesz się ze mną skontaktować, wyślij mail na adres kontakt[at]michalmalysa.pl