Co to jest crawler - robot wyszukiwarki internetowej, co oznacza, jaka jest definicja pojęcia w słowniku

Crawler (robot wyszukiwarki internetowej, robot sieciowy, pająk) jest zaawansowanym programem, który automatycznie analizuje treści i  zasoby stron internetowych. Może mieć różne zastosowanie. Robot wyszukiwarki przetwarza zebrane informacje i zapisuje je w indeksie, dzięki czemu witryny są dostępne później pokazywane w SERP-ach.

Pojęcie crawler (bot) odnosi się do różnego rodzaju robotów sieciowych wyszukiwarek internetowych, do których należą:

• Googlebot – najpopularniejszy robot sieciowy wykorzystywane przez Google.
• Bingbot – crawler utworzony przez firmę Microsoft do tworzenia bazy wyszukiwarki Bing.
• Alexa Crawler – bot gromadzący dane o stronach internetowych dla rankingu firmy Amazon.
• Yandex Bot – robot sieciowy tworzący bazę wyszukiwarki rosyjskiej Yandex i inne boty skanujące strony internetowe.

Crawlery występują również w formie robotów analizujących strony, w celu zgromadzenia o nich informacji na temat SEO. Są to takie popularne rozwiązania, jak Screaming Frog czy SEMrush. Dają one informacje na temat na przykład treści witryny i zastosowanych meta tagów.