Robots.txt pozwala np. wykluczyć panel administracyjny z indeksowania. Błędna konfiguracja może przypadkowo zablokować całą stronę przed Google, dlatego wymaga ostrożności.
Co to oznacza w praktyce?
Robots.txt to prosty plik tekstowy w głównym katalogu strony (twojastrona.pl/robots.txt), który mówi robotom wyszukiwarek i AI, które części witryny mogą odwiedzać, a które pominąć. Zawiera też zwykle adres mapy strony.
Dlaczego to ważne dla Twojej firmy?
Dobrze ustawiony robots.txt kieruje roboty do ważnych treści i chroni np. panel administracyjny. Jedna błędna linijka („Disallow: /”) może jednak całkowicie ukryć stronę przed Google.
Przykłady i dobre praktyki
- Blokuj tylko obszary techniczne, np. /wp-admin/.
- Podaj adres mapy XML.
- Nie blokuj plików CSS i JS potrzebnych do wyświetlenia strony.
- Zdecyduj świadomie o dostępie robotów AI.
Jak to wygląda w Novi
Strony Novi mają poprawnie skonfigurowany robots.txt z mapą strony i dostępem dla wyszukiwarek oraz robotów AI. Środowiska testowe są blokowane, by nie trafiły do Google.
