Plik llms.txt – jak zarządzać dostępem crawlerów AI do strony

Definicja: Plik llms.txt to plik Markdown umieszczany w katalogu głównym domeny pod adresem /llms.txt, który zarządza dostępem crawlerów AI do treści witryny poprzez: (1) zezwolenie lub blokowanie konkretnych botów AI (dyrektywy User-LLM, Allow, Disallow); (2) wskazanie kluczowych zasobów strony dla modeli językowych; (3) określenie warunków cytowania i licencji treści (dyrektywy Attribution, License).

Ostatnia aktualizacja: 2026-02-23

Szybkie fakty

• Plik llms.txt musi być dostępny pod adresem https://domena.pl/llms.txt i serwowany jako MIME text/plain – wymóg wynikający bezpośrednio ze specyfikacji opublikowanej na llmstxt.org.
• Standard llms.txt nie zastępuje pliku robots.txt: robots.txt kontroluje dostęp crawlerów do adresów URL, a llms.txt wskazuje modelom językowym najważniejsze treści i warunki ich użycia – oba pliki mogą współistnieć w tej samej domenie.
• Respektowanie dyrektyw pliku llms.txt przez crawlery AI jest dobrowolne – standard nie przewiduje technicznego mechanizmu egzekwowania, a compliance jest uzależniona od polityki danego dostawcy AI.

Plik llms.txt umieszcza się w katalogu głównym domeny i konfiguruje w formacie Markdown z dyrektywami dostępu – po wdrożeniu jest dostępny pod adresem yourdomain.pl/llms.txt i informuje crawlery AI, które treści są kluczowe i na jakich warunkach mogą być używane.

• Lokalizacja i format: plik musi znajdować się w katalogu głównym domeny (/llms.txt), być serwowany jako text/plain i zapisany w formacie Markdown z obowiązkowym nagłówkiem H1
• Dyrektywy dostępu: User-LLM identyfikuje konkretnego crawlera AI (np. OpenAI, Anthropic), dyrektywy Allow i Disallow definiują dozwolone i zablokowane ścieżki, a Attribution i License określają warunki cytowania i licencji
• Weryfikacja: po wdrożeniu dostępność pliku weryfikuje się przez bezpośrednie wejście na adres yourdomain.pl/llms.txt; monitoring aktywności crawlerów AI odbywa się z poziomu logów serwera

Zarządzanie dostępem botów do treści witryny jest jednym z fundamentalnych zadań konfiguracji technicznej serwisu – od lat realizowanym przez plik robots.txt. Od 2024 roku obok robots.txt funkcjonuje nowy standard: plik llms.txt, zaprojektowany z myślą o modelach językowych i crawlerach AI. Specyfikacja opublikowana na llmstxt.org definiuje format Markdown z dyrektywami User-LLM, Allow, Disallow, Attribution i License – każda z nich pełni odmienną rolę w procesie zarządzania dostępem. Materiał omawia strukturę pliku, różnice wobec robots.txt, procedurę wdrożenia na serwerze i w WordPress, zachowanie konkretnych crawlerów AI wobec dyrektyw oraz checklistę weryfikacyjną po publikacji pliku.

Czym jest plik llms.txt i do czego służy

Plik llms.txt to tekstowy plik w formacie Markdown umieszczany w katalogu głównym domeny, który kieruje crawlery AI do kluczowych treści witryny. Standard powstał w 2024 roku jako odpowiedź na rosnącą aktywność botów modeli językowych, takich jak GPTBot (OpenAI) czy ClaudeBot (Anthropic), które nie są przystosowane do efektywnego parsowania złożonych stron HTML.

Propozycja standardu pochodzi od Jeremy’ego Howarda, autora projektu FastHTML – specyfikacja trafiła na stronę llmstxt.org i od tamtej pory funkcjonuje jako otwarty standard webowy. Centralny problem, który rozwiązuje plik llms.txt, polega na tym, że modele językowe pobierają i analizują treści witryn w sposób odmienny od tradycyjnych crawlerów wyszukiwarek: złożone struktury HTML, elementy nawigacji, reklamy i skrypty utrudniają wyodrębnienie wartościowej treści. Plik llms.txt dostarcza uproszczoną, priorytetową mapę najważniejszych zasobów serwisu w czytelnej dla modeli formie Markdown.

Plik musi być umieszczony w katalogu głównym domeny – na tym samym poziomie co robots.txt i sitemap.xml – i dostępny pod adresem /llms.txt. Serwowanie jako MIME text/plain jest wymogiem technicznym wynikającym ze specyfikacji. Obok llms.txt funkcjonuje nieoficjalny wariant llms-full.txt, przechowujący rozwinięte wersje treści z linków, jednak jego wdrożenie nie jest wymagane przez standard llmstxt.org.

Precyzyjne odróżnienie llms.txt od robots.txt i sitemap.xml pozwala przypisać każdemu plikowi właściwą rolę w ekosystemie konfiguracyjnym – brak jednego z nich nie zastępuje pozostałych w zakresie zarządzania dostępem botów do treści witryny.

Plik llms.txt a robots.txt – kluczowe różnice

Robots.txt i plik llms.txt zarządzają dostępem botów do treści witryny, lecz działają na fundamentalnie różnych zasadach i nie są wymienne. Robots.txt kontroluje dostęp do adresów URL przez mechanizm techniczny egzekwowany przez crawlery wyszukiwarek; llms.txt działa jako sygnał doradczy wskazujący modelom językowym, co jest najważniejsze i na jakich warunkach może być używane.

Naruszenie dyrektyw robots.txt przez crawlera wyszukiwarki skutkuje brakiem indeksacji zablokowanych zasobów – mechanizm jest egzekwowany technicznie przez Googlebota i Bingbota. W przypadku pliku llms.txt brak analogicznych sankcji technicznych: jeśli crawler AI zignoruje dyrektywy, właściciel serwisu nie dysponuje środkiem blokującym dostęp na poziomie infrastruktury serwera.

Plik llms.txt czy robots.txt – które stosować do kontroli dostępu botów?

Robots.txt pozostaje jedynym narzędziem technicznego blokowania dostępu botów do określonych adresów URL – jego dyrektywy respektuje Googlebot, Bingbot i większość crawlerów wyszukiwarek. Plik llms.txt nie blokuje dostępu technicznie: jest sygnałem doradczym wskazującym crawlerom AI priorytetowe zasoby i warunki ich cytowania. Kryterium wyboru wyznacza typ bota: dla crawlerów wyszukiwarek (indeksacja, pozycje organiczne) konfiguruje się robots.txt; dla crawlerów AI (modele językowe, agregatory oparte na LLM) – llms.txt. Oba pliki wdraża się równolegle, gdyż ich funkcje nie nakładają się i brak jednego z nich nie zastępuje drugiego w żadnym zakresie.

Najczęstsze typowe błędy pliku robots.txt i ich wpływ na indeksację witryny zostały omówione w osobnym materiale poświęconym konfiguracji tego standardu.

Jeśli oba pliki działają równolegle – robots.txt z dyrektywami blokującymi URL i llms.txt ze wskazaniem priorytetów dla crawlerów AI – to ekosystem zarządzania dostępem botów obejmuje zarówno warstwę techniczną, jak i doradczą.

Struktura i dyrektywy pliku llms.txt

Plik llms.txt buduje się w formacie Markdown według ściśle określonej struktury: obowiązkowy nagłówek H1 z nazwą projektu, opcjonalny blockquote z opisem serwisu, a następnie sekcje H2 z listami URL wskazującymi kluczowe zasoby. Dyrektywy definiują reguły dostępu i warunki użycia treści dla konkretnych crawlerów AI identyfikowanych przez nazwę dostawcy lub symbol gwiazdki.

We propose adding a /llms.txt markdown file to websites to provide LLM-friendly content. This file offers brief background information, guidance, and links to detailed markdown files.¹

Oficjalna specyfikacja llmstxt.org uzasadnia powstanie formatu potrzebą dostarczenia modelom językowym ustrukturyzowanych, priorytetowych treści witryny w formacie czytelnym maszynowo.

Dyrektywa User-LLM identyfikuje crawlera AI: wartość * oznacza wszystkich botów, a konkretna nazwa (np. OpenAI, Anthropic, Perplexity AI) ogranicza regułę do wskazanego dostawcy. Dyrektywy Allow i Disallow definiują dozwolone i zablokowane ścieżki dla wskazanego crawlera, działając analogicznie do odpowiedników w robots.txt. Dyrektywa Attribution przyjmuje wartości link, text lub none i określa preferowany sposób cytowania treści przez model AI. Dyrektywa License wskazuje warunki licencji: CC-BY-4.0, CC0 lub All Rights Reserved. Sekcja Optional grupuje treści drugorzędne, których przetwarzanie jest fakultatywne dla crawlera – jej obecność pozwala odróżnić zasoby priorytetowe od pobocznych bez ich blokowania.

Zagadnienie lokalizacji pliku konfiguracyjnego w katalogu głównym serwera wyjaśnia materiał o tym, gdzie jest plik robots.txt – analogia umiejscowienia obu plików jest tam szczegółowo omówiona.

Przy nieprawidłowej wartości dyrektywy User-LLM (np. literówka w nazwie dostawcy) najbardziej prawdopodobne jest, że crawler AI zastosuje regułę domyślną lub zignoruje blok dyrektyw dla danego identyfikatora, traktując witrynę jako nieposiadającą dedykowanych reguł dostępu.

Jak wdrożyć plik llms.txt – procedura wdrożenia

Wdrożenie pliku llms.txt obejmuje pięć kroków: utworzenie pliku w formacie Markdown, zapis z poprawnym MIME type, upload do katalogu głównego serwera, weryfikacja dostępności pod adresem /llms.txt i opcjonalne monitorowanie logów. Procedura jest niezależna od platformy CMS i możliwa do wykonania przez panel hostingowy lub klienta FTP.

• Krok 1 – Tworzenie: plik tworzy się w edytorze tekstowym z kodowaniem UTF-8 i rozszerzeniem .txt. Zawartość musi zawierać obowiązkowy nagłówek H1 (np. # Nazwa projektu), opcjonalny blockquote z opisem serwisu oraz sekcje H2 z listami URL wskazującymi kluczowe zasoby strony.
• Krok 2 – MIME type: serwer musi zwracać nagłówek Content-Type: text/plain; konfiguruje się to przez dodanie wpisu AddType text/plain .txt w pliku .htaccess lub przez panel hostingowy.
• Krok 3 – Upload: plik umieszcza się w katalogu głównym serwera (public_html lub www), na tym samym poziomie co robots.txt i sitemap.xml.

The LLMs.txt file must be strategically positioned at your domain’s root directory, accessible via https://yourdomain.com/llms.txt, and must be served with a content-type of text/plain to ensure proper parsing by AI systems.²

Specyfikacja ThinkDMG precyzuje wymogi techniczne dotyczące lokalizacji pliku i poprawnego MIME type jako warunków koniecznych prawidłowego parsowania przez crawlery AI.

• Krok 4 – Weryfikacja URL: po przesłaniu pliku wchodzi się na adres domena.pl/llms.txt w przeglądarce – prawidłowa konfiguracja zwraca treść pliku, a nie błąd 404 ani przekierowanie 301.
• Krok 5 – WordPress: Metoda A korzysta z wtyczki AIOSEO (Settings → Search Appearance → Advanced → LLMs.txt), która generuje i publikuje plik automatycznie na podstawie struktury serwisu. Metoda B polega na ręcznym przesłaniu pliku przez FTP lub menedżer plików hostingowych do katalogu public_html – bez konieczności instalowania dodatkowych wtyczek.

Weryfikacja poprawności MIME type przez polecenie curl -I domena.pl/llms.txt pozwala odróżnić błąd konfiguracji serwera od błędu struktury pliku bez konieczności ponownego przesyłania go na serwer.

Które crawlery AI czytają plik llms.txt

Plik llms.txt jest odczytywany przez crawlery AI głównych dostawców modeli językowych, choć poziom compliance różni się między poszczególnymi botami. Wśród botów aktywnie uwzględniających standard wymienia się OAI-SearchBot i GPTBot (OpenAI), ClaudeBot (Anthropic) oraz PerplexityBot (Perplexity AI).

• GPTBot (OpenAI) to crawler treningowy;
• OAI-SearchBot (OpenAI) obsługuje wyszukiwarkę ChatGPT – oba rozpoznają dyrektywy User-LLM i respektują bloki Allow i Disallow przypisane do nazwy OpenAI lub symbolu *.
• ClaudeBot (Anthropic) respektuje dyrektywy przypisane do User-LLM: Anthropic oraz do User-LLM: *, co pozwala na selektywne zarządzanie dostępem wyłącznie dla tego bota.
• PerplexityBot (Perplexity AI) obsługuje dyrektywy Allow i Disallow zdefiniowane w konfiguracji llms.txt.
• Googlebot-Extended (Google) posiada ograniczoną dokumentację w zakresie llms.txt – sygnały z pliku są przetwarzane nieoficjalnie, bez formalnego potwierdzenia ze strony Google.

Standard llms.txt jest dobrowolny: żaden crawler AI nie jest technicznie zobowiązany do respektowania jego dyrektyw. Compliance zależy wyłącznie od polityki wewnętrznej dostawcy AI, a nie od mechanizmów egzekwowania analogicznych do robots.txt.

Monitoring aktywności botów na serwerze jest zbliżony proceduralnie do technik pozwalających sprawdzić indeksację strony w Google – logi serwera pełnią kluczową rolę w obu procesach.

Jeśli w logach serwera nie pojawia się aktywność żadnego z wymienionych crawlerów AI, to plik llms.txt mógł zostać opublikowany pod nieprawidłową ścieżką lub jest serwowany z błędnym nagłówkiem Content-Type, który uniemożliwia jego prawidłowe parsowanie.

Lista weryfikacji pliku llms.txt po wdrożeniu

Po wdrożeniu pliku llms.txt weryfikuje się cztery obszary: dostępność URL, poprawność MIME type, strukturę Markdown i aktywność crawlerów AI w logach serwera. Każdy punkt checklisty odpowiada konkretnemu wymogowi specyfikacji llmstxt.org.

• Dostępność URL: wejście na adres domena.pl/llms.txt powinno zwrócić treść pliku w przeglądarce – błąd 404 wskazuje na nieprawidłową lokalizację pliku, a przekierowanie 301 może zakłócić parsowanie przez crawlery AI.
• MIME type: odpowiedź serwera musi zawierać nagłówek Content-Type: text/plain – weryfikuje się go przez zakładkę Network w DevTools przeglądarki lub polecenie curl -I domena.pl/llms.txt.
• Struktura Markdown: plik musi zawierać obowiązkowy nagłówek H1, opcjonalny blockquote i co najmniej jedną sekcję H2 z listą URL – brak nagłówka H1 stanowi niezgodność ze specyfikacją.
• Dyrektywy: sprawdza się poprawność składni User-LLM, Allow i Disallow, w tym pisownię nazw botów (OpenAI, Anthropic, Perplexity AI) – literówka uniemożliwia przypisanie reguły do właściwego crawlera.
• Logi serwera: w pliku access.log poszukuje się identyfikatorów GPTBot, OAI-SearchBot, ClaudeBot i PerplexityBot – ich obecność potwierdza, że crawlery AI pobierają plik.

Przy braku nagłówka Content-Type: text/plain w odpowiedzi serwera najbardziej prawdopodobne jest, że crawler AI odrzuci plik jako nieczytelny – nawet gdy struktura Markdown i dyrektywy są formalnie poprawne.

Pytania i odpowiedzi

Czym jest plik llms.txt i do czego służy?

Plik llms.txt to standardowy plik w formacie Markdown umieszczany w katalogu głównym witryny pod adresem /llms.txt. Zarządza dostępem crawlerów AI i modeli językowych do treści strony: wskazuje najważniejsze zasoby, definiuje zasady dostępu dla konkretnych botów AI za pomocą dyrektyw User-LLM, Allow i Disallow oraz określa warunki cytowania i licencjonowania treści przez dyrektywy Attribution i License.

Jaka jest różnica między plikiem llms.txt a robots.txt?

Robots.txt kontroluje dostęp tradycyjnych crawlerów wyszukiwarek do konkretnych adresów URL i jest egzekwowane technicznie przez większość botów. Plik llms.txt działa inaczej: nie blokuje dostępu do URL, lecz wskazuje modelom językowym, które treści są kluczowe i na jakich warunkach mogą być używane. Oba pliki pełnią odmienne funkcje i powinny współistnieć w tej samej domenie.

Jak wdrożyć plik llms.txt w WordPress?

W WordPress plik llms.txt wdraża się dwiema metodami. Metoda A korzysta z wtyczki AIOSEO (Settings → Search Appearance → Advanced → LLMs.txt) – wtyczka generuje i publikuje plik automatycznie na podstawie struktury serwisu. Metoda B polega na ręcznym utworzeniu pliku w edytorze tekstowym i przesłaniu go przez FTP lub menedżer plików hostingowych bezpośrednio do katalogu public_html.

Czy crawlery AI muszą respektować dyrektywy z pliku llms.txt?

Standard llms.txt jest dobrowolny – crawlery AI nie są technicznie zobowiązane do respektowania jego dyrektyw. Większość głównych dostawców AI (OpenAI, Anthropic, Perplexity AI) deklaruje uwzględnianie pliku, jednak compliance jest uzależniona od polityki danego dostawcy i nie jest egzekwowana mechanicznie, w odróżnieniu od robots.txt.

Czym różni się llms.txt od llms-full.txt i które jest wymagane?

Branżowy standard wymaga wyłącznie pliku llms.txt w katalogu głównym domeny – llms-full.txt nie jest częścią oficjalnej specyfikacji llmstxt.org. Plik llms-full.txt to nieoficjalny wariant stosowany przez część projektów do przechowywania rozwiniętych wersji treści z linków, jednak jego wdrożenie nie jest konieczne do spełnienia wymogów standardu.

Podsumowanie

• Plik llms.txt umieszcza się w katalogu głównym domeny, zapisuje jako text/plain i buduje z obowiązkowym H1, opcjonalnym blockquote oraz sekcjami H2 z listami URL wskazującymi kluczowe zasoby witryny.
• Standard llms.txt uzupełnia robots.txt – oba pliki pełnią odmienne funkcje kontroli dostępu i powinny być wdrożone równolegle, bez wzajemnej konkurencji.
• Respektowanie dyrektyw przez crawlery AI jest dobrowolne – plik llms.txt stanowi sygnał dla botów, a nie techniczny mechanizm blokowania dostępu do treści serwisu.
• Po wdrożeniu weryfikuje się dostępność pliku pod adresem domena.pl/llms.txt, poprawność nagłówka Content-Type: text/plain oraz aktywność crawlerów AI (GPTBot, ClaudeBot, PerplexityBot) w logach serwera.

Źródła

• Cension AI — LLMs.txt vs Robots.txt: Key Differences Explained (2025)
• LLMs Central — llms.txt vs llms-full.txt: What You Actually Need (2025)
• WPBeginner — Co to jest llms.txt? Jak dodać llms.txt w WordPress (2025)
• Semrush Blog — What Is LLMs.txt & Should You Use It? (2025)

1. llmstxt.org — The /llms.txt file (2024) ↩︎
2. ThinkDMG — LLMs.txt Specification (2025) ↩︎