Czy robots.txt blokuje boty AI i wyszukiwarek?
Robots.txt nie powinien blokować Googlebota, Bingbota i OAI-SearchBot, jeśli strona ma być widoczna w Google, Bing i ChatGPT Search.
Krótka odpowiedź
Jeśli strona ma być widoczna w Google, Bing i ChatGPT Search, plik robots.txt nie powinien blokować ważnych crawlerów: Googlebota, Bingbota i OAI-SearchBot. Samo dobre SEO nie wystarczy, jeśli bot technicznie nie może wejść na stronę.
Co powinno być jawnie dozwolone?
Najprostsza bezpieczna konfiguracja dla strony firmowej to pozwolić botom wejść na publiczne podstrony i wskazać sitemapę. W praktyce oznacza to, że w robots.txt nie powinno być reguł Disallow blokujących całą stronę, katalogi z treścią lub konkretne landing page.
Dla widoczności w ChatGPT Search szczególnie ważny jest OAI-SearchBot. OpenAI wskazuje, że strona powinna pozwalać temu botowi na crawl oraz nie blokować ruchu z publikowanych adresów IP.
robots.txt to nie jedyne miejsce blokady
Crawler może mieć dostęp w robots.txt, ale nadal nie widzieć strony przez ustawienia hostingu, firewall, CDN, zabezpieczenia WordPressa, nagłówki noindex albo ochronę hasłem.
Dlatego po zmianach warto sprawdzić nie tylko treść robots.txt, ale też kod odpowiedzi HTTP, meta robots, nagłówki X-Robots-Tag i to, czy ważne podstrony nie zwracają błędów 403, 404 albo 5xx.
Jak to sprawdzić bez komplikowania?
Na początek wystarczy wejść pod adres /robots.txt i sprawdzić, czy nie ma blokady dla całej strony. Potem warto przetestować najważniejsze URL-e: główną, usługi, poradniki i formularz kontaktowy.
Dla strony usługowej to małe ustawienie techniczne, ale bardzo ważne. Treści mogą być świetne, schema poprawne, a sitemap gotowa, ale jeśli bot nie ma dostępu, widoczność będzie ograniczona.
Techniczna checklista dla botów
Najprostszy filtr przed decyzją.
Googlebot ma dostęp do publicznych podstron.
Bingbot ma dostęp do publicznych podstron.
OAI-SearchBot ma dostęp do publicznych podstron.
robots.txt wskazuje aktualne sitemapy.
Ważne strony nie mają noindex ani błędów 403/404/5xx.
FAQ
Najczęstsze pytania w tym temacie.
Czy OAI-SearchBot jest potrzebny dla ChatGPT Search?
Tak. OpenAI wskazuje, że aby strona mogła być uwzględniana w ChatGPT Search, ważne jest dopuszczenie OAI-SearchBot do crawlowania witryny.
Czy Allow: / gwarantuje widoczność w AI?
Nie. To tylko warunek techniczny dostępu. Widoczność zależy też od jakości treści, autorytetu, struktury, linków, danych i tego, czy strona odpowiada na konkretne pytania.
Czy można blokować prywatne części strony?
Tak. robots.txt może blokować obszary techniczne lub prywatne, ale nie powinien blokować publicznych stron, które mają pracować na widoczność.