Gdzie znajduje się plik robots.txt w domenie
Definicja: Plik robots.txt to zasób konfiguracyjny umieszczany w katalogu głównym hosta, który informuje roboty wyszukiwarek o zasadach dostępu do adresów URL w ramach danej domeny, a jego działanie zależy od: (1) kombinacji protokołu i hosta; (2) fizycznej dostępności pliku pod ścieżką /robots.txt; (3) poprawnej interpretacji odpowiedzi HTTP przez crawlera.
Ostatnia aktualizacja: 2026-01-17
Szybkie fakty
- Plik robots.txt działa wyłącznie w obrębie jednego hosta i protokołu.
- Poprawna lokalizacja to katalog główny domeny pod ścieżką /robots.txt.
- Status HTTP pliku wpływa na możliwość pobrania reguł przez crawlera.
Plik robots.txt znajduje się zawsze w katalogu głównym konkretnego hosta i protokołu, a jego poprawność należy weryfikować na podstawie odpowiedzi serwera oraz testów w Google Search Console.
- Zakres hosta: Reguły obowiązują tylko dla jednego hosta, takiego jak www, bez www lub subdomena.
- Zakres protokołu: HTTP i HTTPS są analizowane oddzielnie, nawet przy tej samej domenie.
- Dostępność HTTP: Kody odpowiedzi decydują o tym, czy crawler może pobrać i zastosować reguły.
Ustalenie, gdzie znajduje się plik robots.txt, jest jednym z podstawowych kroków diagnostycznych w analizie indeksacji i crawlowania strony. W praktyce problemy nie wynikają z samej składni reguł, lecz z błędnego umiejscowienia pliku, niejednoznacznej struktury hostów lub nieprawidłowych odpowiedzi serwera. W artykule omówiono zasady lokalizacji robots.txt, zależności protokołu i hosta oraz metody sprawdzania dostępności pliku w środowisku produkcyjnym.
Temat ma szczególne znaczenie w serwisach posiadających wiele wariantów domeny, subdomeny techniczne lub wdrożone mechanizmy bezpieczeństwa. W takich przypadkach nawet poprawnie przygotowany plik może być ignorowany przez roboty wyszukiwarek, jeśli nie jest dostępny pod właściwym adresem. Zrozumienie tej zależności pozwala uniknąć błędnych interpretacji raportów w Google Search Console.
Lokalizacja pliku robots.txt w strukturze domeny
Plik robots.txt musi znajdować się w katalogu głównym hosta, którego dotyczy. Oznacza to, że jedyną poprawną lokalizacją jest ścieżka /robots.txt bez dodatkowych katalogów pośrednich. Umieszczenie pliku w folderze typu /public/, /pages/ lub innym podkatalogu powoduje, że roboty wyszukiwarek nie będą go pobierać ani interpretować.
Adres pliku zawsze składa się z pełnego schematu i hosta, na przykład https://example.com/robots.txt. Każda inna lokalizacja, nawet jeśli jest logiczna z punktu widzenia struktury serwera, jest traktowana jako niepoprawna. Wynika to z faktu, że roboty nie przeszukują serwisu w poszukiwaniu pliku, lecz odwołują się wyłącznie do tej jednej, z góry określonej ścieżki.
“The robots.txt file must be located at the root of the site host to which it applies.”
Konsekwencją tej zasady jest konieczność utrzymywania osobnych plików dla każdego hosta funkcjonującego w ramach jednej marki lub infrastruktury technicznej. Brak pliku w katalogu głównym jest interpretowany jako brak dodatkowych ograniczeń crawlingu.
Protokół a plik robots.txt (http vs https)
Robots.txt jest przypisany nie tylko do hosta, ale również do protokołu. Oznacza to, że adres http://example.com/robots.txt i https://example.com/robots.txt są traktowane jako dwa niezależne zasoby. W praktyce robot pobiera plik wyłącznie dla protokołu, z którego korzysta podczas crawlowania strony.
Podczas migracji z HTTP do HTTPS częstym błędem jest pozostawienie poprawnego pliku jedynie w wersji HTTP. W takiej sytuacji Googlebot, poruszający się już po wersji HTTPS, nie widzi żadnych reguł, co może prowadzić do niezamierzonego crawlowania adresów wcześniej ograniczonych.
Poprawne wdrożenie wymaga sprawdzenia dostępności pliku dla obu protokołów oraz zapewnienia spójnej konfiguracji po zakończeniu migracji. Pominięcie tego kroku jest częstą przyczyną rozbieżności między oczekiwanym a rzeczywistym zachowaniem crawlerów.
Warianty hosta: www, bez www i subdomeny
Każdy wariant hosta jest traktowany jako odrębna jednostka z punktu widzenia robots.txt. Dotyczy to zarówno wersji z www i bez www, jak i wszystkich subdomen, takich jak blog.example.com czy shop.example.com. Każdy z tych hostów wymaga własnego pliku w katalogu głównym.
W praktyce prowadzi to do sytuacji, w których robots.txt istnieje tylko dla jednego wariantu domeny, a pozostałe są pozbawione reguł. Jest to szczególnie problematyczne w środowiskach, gdzie różne hosty pełnią odmienne funkcje techniczne, ale są dostępne publicznie.
Poprawna diagnostyka wymaga sprawdzenia pliku dla każdego hosta osobno. W przypadku rozbudowanych serwisów pomocne jest powiązanie tej analizy z raportami indeksacji i statusami widocznymi w lokalizacja i działanie robots.txt.
Statusy HTTP robots.txt i ich interpretacja
| Status HTTP | Znaczenie dla crawlera | Typowe przyczyny |
|---|---|---|
| 200 OK | Plik dostępny i interpretowany | Poprawna konfiguracja serwera |
| 404 Not Found | Brak reguł ograniczających crawling | Plik nieistniejący lub błędna ścieżka |
| 403 Forbidden | Brak możliwości pobrania reguł | WAF, autoryzacja lub blokada IP |
Status odpowiedzi serwera dla pliku robots.txt ma bezpośredni wpływ na to, czy reguły zostaną zastosowane. Kod 200 oznacza poprawne pobranie i analizę zawartości, natomiast 404 jest interpretowany jako brak dodatkowych instrukcji dla robota.
Kod 403 lub 401 sygnalizuje, że robot nie ma dostępu do pliku. W takich przypadkach Google może raportować problemy z dostępnością, a reguły nie są stosowane. Częstą przyczyną są systemy bezpieczeństwa, które nie rozróżniają ruchu użytkowników i crawlerów.
“It is not a mechanism for keeping a web page out of Google.”
Powyższa zasada podkreśla, że nawet poprawnie dostępny robots.txt nie służy do wykluczania adresów z indeksu, a jedynie do sterowania crawlingiem.
Sprawdzanie lokalizacji i dostępności robots.txt
Najprostszą metodą weryfikacji jest bezpośrednie otwarcie adresu /robots.txt w przeglądarce. Pozwala to sprawdzić, czy plik istnieje oraz jaki status HTTP zwraca serwer. Metoda ta pokazuje jednak jedynie perspektywę użytkownika.
Drugim krokiem powinna być weryfikacja w Google Search Console, gdzie test robots.txt odzwierciedla sposób pobrania pliku przez Googlebota. Różnice między tymi dwoma źródłami mogą wynikać z cache, adresów IP lub warstw pośrednich. Analiza raportów w jak sprawdzić status indeksowania w GSC pozwala właściwie zinterpretować te rozbieżności.
Sprawdzenie robots.txt w przeglądarce czy w Google Search Console — które źródło jest wiarygodniejsze diagnostycznie?
Przeglądarka prezentuje bezpośrednią odpowiedź serwera, natomiast Google Search Console pokazuje interpretację pliku w kontekście rzeczywistego pobrania przez crawlera. Różnice mogą wynikać z cache, zabezpieczeń lub warstw pośrednich. W diagnostyce technicznej kluczowe jest zestawienie obu perspektyw. Selekcja sygnałów opiera się na zgodności odpowiedzi HTTP z raportem testowym Google.
Najczęstsze pytania
Czy brak pliku robots.txt jest błędem?
Brak pliku oznacza brak dodatkowych reguł dla crawlerów, ale w rozbudowanych serwisach może utrudniać kontrolę crawlowania.
Czy robots.txt blokuje indeksowanie stron?
Plik ogranicza crawling, lecz nie stanowi mechanizmu wykluczania adresów z indeksu wyszukiwarki.
Czy wielkość liter w nazwie pliku ma znaczenie?
Ścieżka jest wrażliwa na wielkość liter, dlatego poprawna nazwa to zawsze /robots.txt zapisane małymi literami.
Jak często Google pobiera robots.txt?
Plik jest okresowo odświeżany, a częstotliwość zależy od sygnałów serwera i zmian konfiguracji.
Czy przekierowanie robots.txt wpływa na jego działanie?
Przekierowania mogą powodować problemy z pobraniem i interpretacją pliku przez crawlera.
Krótkie podsumowanie tematu
Lokalizacja pliku robots.txt jest jednoznacznie określona i zależna od hosta oraz protokołu. Większość problemów wynika z błędnej struktury domeny lub ograniczeń dostępu na poziomie serwera. Poprawna diagnostyka wymaga analizy statusów HTTP oraz weryfikacji w Google Search Console. Zrozumienie tych zależności pozwala właściwie interpretować raporty indeksacji.
Źródła
- Create a robots.txt file — https://developers.google.com/crawling/docs/robots-txt/create-robots-txt
- About robots.txt — https://developers.google.com/search/docs/crawling-indexing/robots/intro
- RFC 9309 – Robots Exclusion Protocol — https://www.rfc-editor.org/rfc/rfc9309.pdf
