Boty AI, robots.txt i llms.txt: komu pozwolić czytać stronę w 2026 roku

Jakie boty AI odwiedzają Twoją stronę

Każda duża firma rozwijająca AI ma dziś kilka robotów o różnych zadaniach. Jedne zbierają treści do trenowania modeli, inne budują indeks dla wyszukiwarki AI, jeszcze inne pobierają pojedynczą stronę, gdy użytkownik zada pytanie. Od tego zadania zależy, co stracisz, blokując danego bota.

Kilka szczegółów ma duże znaczenie praktyczne. OpenAI zaznacza, że każda reguła w robots.txt działa niezależnie, a gdy strona wpuszcza zarówno GPTBot, jak i OAI-SearchBot, firma może wykorzystać jedno pobranie do obu celów. Zmiany dotyczące wyszukiwarki ChatGPT zaczynają działać po około 24 godzinach, a Perplexity mówi o czasie do 24 godzin. OAI-AdsBot odwiedza wyłącznie strony zgłoszone jako cel reklamy, więc dotyczy firm, które prowadzą reklamy w ChatGPT.

Trenowanie a wyszukiwanie: czym różni się blokada

To najważniejsze rozróżnienie w całym temacie. Zablokowanie bota trenującego oznacza, że nie zgadzasz się na użycie przyszłych treści do uczenia modeli. Zablokowanie bota wyszukiwarki AI oznacza, że strona zniknie z odpowiedzi tej wyszukiwarki.

Blokada działa na przyszłość. Treści pobrane wcześniej nie znikają automatycznie z danych, na których model już się nauczył. Jeśli zależy Ci na ochronie treści, decyzja powinna zapaść jak najwcześniej.

Google: Googlebot, Google-Extended i przełącznik w Search Console

W przypadku Google sprawa jest bardziej złożona, bo Przeglądy od AI i Tryb AI korzystają z tego samego indeksu co zwykła wyszukiwarka. Nie da się więc zablokować ich w robots.txt bez zablokowania całego Googlebota, czyli zniknięcia z Google.

Google-Extended nie jest robotem. Google pobiera strony swoimi zwykłymi robotami, a token w robots.txt jest tylko ustawieniem zgody. Według dokumentacji Google nie wpływa on na obecność strony w wyszukiwarce i nie jest sygnałem rankingowym.

Do wyłączenia strony z Przeglądów od AI, Trybu AI i Przeglądów od AI w Discover służy przełącznik w Search Console. Google zaczął go testować 3 czerwca 2026 r. w Wielkiej Brytanii, a 31 sierpnia 2026 r. potwierdził, że jest dostępny dla wszystkich stron na świecie. Strona wyłączona z tych funkcji nie dostaje z nich wyświetleń ani ruchu, ale według Google zachowuje pozycje w zwykłych wynikach. Przełącznik nie dotyczy trenowania modeli.

Starszym, bardziej precyzyjnym narzędziem są dyrektywy nosnippet i atrybut data-nosnippet. Pozwalają wyłączyć z fragmentów wybrane części strony, ale nosnippet na całej stronie usuwa także zwykły fragment w wynikach. W październiku 2026 r. Google zaktualizował stronę dokumentacji o kontroli udostępnianych treści, opisując w jednym miejscu te dyrektywy i nowy przełącznik. Jak Tryb AI zmienia ruch na stronach, opisujemy w tekście o Trybie AI w Google w Polsce.

Komu pozwolić czytać stronę: trzy strategie

Nie ma jednej dobrej odpowiedzi. Decyzja zależy od tego, jak firma zarabia na treściach i jak ważna jest dla niej obecność w odpowiedziach asystentów.

Dla większości firm, które sprzedają produkty lub usługi, rozsądna jest strategia pierwsza albo druga. Asystenci AI coraz częściej pośredniczą w wyborze dostawcy, a blokada botów wyszukiwarek AI odcina markę od tych rozmów. Szerzej o tym, jak marki walczą o widoczność w odpowiedziach, piszemy w tekście Klient nie klika w wyniki, a o agentach AI, którzy sami robią zakupy, w artykule o zakupach przez agentów AI.

Gotowe reguły robots.txt do skopiowania

Plik robots.txt umieszczasz w katalogu głównym domeny, a reguły trzeba powtórzyć dla każdej subdomeny. Poniżej reguły dla strategii „widoczność bez trenowania”.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Jeśli chcesz tylko ograniczyć obciążenie serwera, a nie blokować bota, Anthropic obsługuje niestandardową dyrektywę Crawl-delay, na przykład wartość 1 dla ClaudeBot. Anthropic ostrzega też, że blokowanie jego adresów IP może działać zawodnie, bo uniemożliwia botom odczytanie robots.txt.

Robots.txt to nie wszystko: CDN, zapora i boty, które go ignorują

Robots.txt jest prośbą, a nie zabezpieczeniem. Renomowani operatorzy deklarują, że go respektują, ale dokumentacja OpenAI i Perplexity wprost mówi, że boty działające na prośbę użytkownika mogą go nie stosować. Uzasadnienie jest takie, że to użytkownik, a nie robot, prosi o stronę.

Zdarza się też sytuacja odwrotna: robots.txt wpuszcza boty, a blokuje je infrastruktura. 1 lipca 2025 r. Cloudflare ogłosił zmianę domyślnego ustawienia na blokowanie botów AI, które nie płacą twórcom za treści. Jeśli Twoja strona działa za takim lub podobnym CDN-em albo zaporą sieciową, sprawdź jej ustawienia. Może się okazać, że firma, która chce być widoczna w ChatGPT, od miesięcy blokuje OAI-SearchBot na poziomie serwera.

Weryfikuj ruch botów w logach serwera. OpenAI i Perplexity publikują listy adresów IP swoich robotów w formacie JSON, co pozwala odróżnić prawdziwego bota od podszywającego się pod niego skryptu. Kontrolę reguł dla botów warto dodać do kwartalnego audytu SEO.

Plik llms.txt: czym jest i czy warto go mieć w 2026 roku

Llms.txt to plik w formacie Markdown umieszczany w katalogu głównym strony. Zawiera nazwę serwisu, krótkie podsumowanie i listy linków do najważniejszych treści, opisane tak, by agent AI szybko zorientował się w zawartości. Pomysł zaproponował Jeremy Howard 3 września 2024 r. Specyfikacja wciąż jest propozycją otwartą na uwagi społeczności; jej druga wersja pochodzi z 10 sierpnia 2026 r.

Wniosek: llms.txt nie jest dziś narzędziem widoczności. Może się przydać firmom z rozbudowaną dokumentacją techniczną, z której korzystają programiści i ich asystenci AI. Dla typowej strony firmowej lub sklepu lepszą inwestycją jest uporządkowana struktura i dane strukturalne opisujące firmę.

Lista kontrolna: decyzja o botach AI w pięciu krokach

1. Ustal z zarządem, czy firma chce być widoczna w asystentach AI i czy zgadza się na trenowanie modeli na swoich treściach.
2. Wybierz jedną z trzech strategii i zapisz ją w dokumentacji strony.
3. Przełóż strategię na reguły robots.txt dla każdej domeny i subdomeny.
4. Sprawdź ustawienia CDN, zapory i Search Console, żeby nie przeczyły robots.txt.
5. Po 24–48 godzinach zweryfikuj w logach serwera, które boty faktycznie odwiedzają stronę.

• Robots.txt nie blokuje Googlebota ani plików potrzebnych do wyświetlenia strony.
• Reguły dla GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot i Google-Extended odpowiadają decyzji firmy.
• Przełącznik funkcji generatywnych w Search Console jest ustawiony świadomie.
• Zapora sieciowa i CDN nie blokują botów, które chcesz wpuszczać.
• Ruch z asystentów AI jest mierzony w GA4.

Efekty decyzji widać w analityce. Wizyty z ChatGPT, Perplexity czy Gemini pojawiają się w GA4 jako odesłania, a jak je wydzielić, opisujemy w tekście o ruchu z AI w GA4. Szerszy kontekst SEO znajdziesz w przewodniku SEO w 2026 roku.