Inna nazwa: bot, robot sieciowy, pająk, robot wyszukiwarki, robot sieciowy
Crawler (robot wyszukiwarki internetowej, robot sieciowy, pająk) jest zaawansowanym programem, który automatycznie analizuje treści i zasoby stron internetowych. Może mieć różne zastosowanie. Robot wyszukiwarki przetwarza zebrane informacje i zapisuje je w indeksie, dzięki czemu witryny są dostępne później pokazywane w SERP-ach.
Pojęcie crawler (bot) odnosi się do różnego rodzaju robotów sieciowych wyszukiwarek internetowych, do których należą:
Crawlery występują również w formie robotów analizujących strony, w celu zgromadzenia o nich informacji na temat SEO. Są to takie popularne rozwiązania, jak Screaming Frog czy SEMrush. Dają one informacje na temat na przykład treści witryny i zastosowanych meta tagów.
Sprawdź również: co to jest Crawl Budget, co to jest robots.txt, co to jest Googlebot, co to jest indeksowanie stron, co to jest Meta Robots, co to jest Screaming Frog, co to jest SEMrush, co to jest SERP
Definicja pojęcia crawler - robot wyszukiwarki internetowej
bot, robot sieciowy, pająk, robot wyszukiwarki, robot sieciowy
w słowniku otrzymała ocenę
5 / 5 według 11 opinii