Co to jest skanowanie stron - crawling, co oznacza, jaka jest definicja pojęcia w słowniku

Skanowanie stron (ang. crawling) to przeszukiwanie internetu, które odbywa się za pomocą robotów sieciowych. Ma ono na celu dokonanie analizy wszystkich treści oraz kodu znajdującego się w ramach określonej witryny.

Skanowanie stron jest procesem inicjowanym przez wyszukiwarkę, który odpowiada za przeszukiwanie zasobów sieci i określanie ich zawartości. Za crawlowanie odpowiadają roboty-pająki, które podążają za linkami obecnymi w treści, tworząc pajęczynę połączeń między zasobami. Najczęściej wykorzystywanym robotem jest Googlebot w wersji na urządzenia stacjonarne i Googlebot w wersji na urządzenia mobilne.

W pierwszym etapie skanowania robot odwiedza stronę i skanuje jej zawartość, pobierając część jej zasobów. Następnie strona jest renderowana – uruchamiany jest jej kod, oceniana zawartość, treść, struktura oraz layout. Komponent WRS analizuje i identyfikuje zasoby, które nie są dostępne dla robota podczas wstępnego skanowania i przesyła do niego informację o nich.

Witryna, na której Googlebot nie przeprowadził crawla, nie zostanie dodana do indeksu, co oznacza, że nie będzie wyświetlać się w wynikach wyszukiwania Google.

Aby skanowanie strony było możliwe, wyszukiwarka musi mieć świadomość jej istnienia. Google może dowiedzieć się o konkretnej stronie:

• jeśli do strony prowadzą linki z innych witryn, które już znajdują się w indeksie i roboty mogą za nimi podążyć,
• właściciel strony zgłosił w Mapie strony przekazanej w Google Search Console dany adres internetowy.