Robots.txt co to jest, co oznacza, jaka jest definicja pojęcia w słowniku

Chcesz pozyskać nowych klientów i zwiększyć sprzedaż?

Zamów bezpłatną konsultację ze Specjalistą od reklamy w Internecie! Otrzymasz darmowe porady, konsultacje i analizę Twojej strony internetowej. Dowiedz się:

  • Jakie działania w Google realizują firmy konkurencyjne
  • Co musisz poprawić na swojej stronie internetowej
  • Ile możesz zyskać wdrażając konkretne rozwiązania

Co to jest robots.txt, co oznacza, jaka jest definicja pojęcia w słowniku

Robots.txt jest plikiem tekstowym informującym roboty sieciowe indeksujące stronę, które zasoby witryny są dla nich dostępne. Formuły składają się z dyrektyw (reguł) zezwalających lub blokujących dostęp do strony czy pliku. Mogą być kierowane do konkretnego robota, jak i obowiązywać wszystkie. Plik robots.txt umieszcza się w folderze głównym serwera.

Robots.txt to plik tekstowy, który zawiera poniższe elementy.

  • User-Agent – określa robota lub roboty, do których kierowane są dyrektywy. Symbol gwiazdki odnosi się do wszystkich crawlerów.
  • Allow – zezwala na dostęp do strony lub pliku serwisu. Ukośnik oznacza dostęp do wszystkich zasobów, oprócz wykluczonych przez inne dyrektywy. 
  • Disallow – blokuje dostęp do zasobów strony.
  • Sitemap – zawiera odnośnik mapy XML witryny.
robots txt przykład treści
Przykładowa zawartość pliku robots.txt

Robost.txt jest jednym z mechanizmów Robots Exclusion Protocol (REP). Jest to zbiór standardów określających, w jaki sposób roboty sieciowe skanują i indeksują witryny internetowe.

Sprawdź również: robot sieciowy, mapa XML, indeksowanie stron

Dodatkowe informacje:

  • https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=pl

Definicja pojęcia robots.txt
w słowniku otrzymała ocenę

1 2 3 4 5

5 / 5 według 10 opinii

Ta strona korzysta z ciasteczek aby świadczyć usługi na najwyższym poziomie. Dalsze korzystanie ze strony oznacza, że zgadzasz się na ich użycie.