Co to jest robots.txt, co oznacza, jaka jest definicja pojęcia w słowniku

Robots.txt jest plikiem tekstowym informującym roboty sieciowe indeksujące stronę, które zasoby witryny są dla nich dostępne. Formuły składają się z dyrektyw (reguł) zezwalających lub blokujących dostęp do strony czy pliku. Mogą być kierowane do konkretnego robota, jak i obowiązywać wszystkie. Plik robots.txt umieszcza się w folderze głównym serwera.

Robots.txt to plik tekstowy, który zawiera poniższe elementy.

• User-Agent – określa robota lub roboty, do których kierowane są dyrektywy. Symbol gwiazdki odnosi się do wszystkich crawlerów.
• Allow – zezwala na dostęp do strony lub pliku serwisu. Ukośnik oznacza dostęp do wszystkich zasobów, oprócz wykluczonych przez inne dyrektywy. 
• Disallow – blokuje dostęp do zasobów strony.
• Sitemap – zawiera odnośnik mapy XML witryny.

Robost.txt jest jednym z mechanizmów Robots Exclusion Protocol (REP). Jest to zbiór standardów określających, w jaki sposób roboty sieciowe skanują i indeksują witryny internetowe.