Chcesz pozyskać nowych klientów i zwiększyć sprzedaż?

Zamów bezpłatną konsultację ze Specjalistą od reklamy w Internecie! Otrzymasz darmowe porady, konsultacje i analizę Twojej strony internetowej. Dowiedz się:

Jakie działania w Google realizują firmy konkurencyjne
Co musisz poprawić na swojej stronie internetowej
Ile możesz zyskać wdrażając konkretne rozwiązania

Meta robots i X-Robots-Tag – jak stosować dyrektywy określające indeksowanie i wyświetlanie strony w wyszukiwarkach?

Dzięki dyrektywom określanym za pomocą meta robots lub X-Robots-Tag pokierujesz roboty wyszukiwarki, aby przeszukiwały i indeksowały Twoją witrynę w wybrany przez Ciebie sposób. Te same parametry dotyczące przeszukiwania i indeksowania stron mogą być używane zarówno w meta robots, jak i X-Robots-Tag. Różnica polega jednak na tym, w jaki sposób parametry te są przekazywane robotom indeksującym.

Z tego poradnika dowiesz się:

co to jest meta tag robots i X-Robots-Tag,
dlaczego dyrektywy określane za pomocą meta robots i X-Robots-Tag są ważne w SEO,
kiedy używać meta tagu robots, a kiedy X-Robots-Tag,
jak zaimplementować meta robots i X-Robots-Tag,
jakie są najlepsze praktyki dotyczące używania dyrektyw określanych za pomocą meta robots i X-Robots-Tag.

Chcesz już teraz mieć pełną kontrolę nad procesem indeksowania i wyświetlania Twojej strony w wynikach wyszukiwania? Zamierzasz wdrożyć skuteczną strategię SEO? Skontaktuj się z nami i skorzystaj z bezpłatnej konsultacji ze Specjalistą SEO.

Dyrektywy meta robots i X-Robots-Tag w SEO

Na skróty

Meta robots i X-Robots-Tag – jak stosować dyrektywy określające indeksowanie i wyświetlanie strony w wyszukiwarkach?

Zwiń wszystkie

Co to jest tag meta robots?

Tag meta robots to fragment kodu HTML, który mówi robotom wyszukiwarek, jak mają interpretować i indeksować daną stronę internetową. Często jest używany do instruowania o sposobie wyświetlania informacji z tej strony w wynikach wyszukiwania.

Tag meta robots jest umieszczany w sekcji <head> strony internetowej i może wyglądać następująco:

W powyższym przykładzie, "noindex" oznacza instrukcję dla robotów wyszukiwarek, aby nie indeksowały tej strony, a "nofollow" mówi im, aby nie podążały za linkami na tej stronie.

Tag meta robots jest niezwykle użyteczny, gdy chcesz ukierunkować ruch na stronę w określony sposób, lub gdy zamierzasz ukryć określone strony przed indeksacją przez wyszukiwarki. Ostatecznie, prawidłowe użycie tagu meta robots może pomóc Ci lepiej kontrolować, jak Twoja strona jest prezentowana i odbierana w wynikach wyszukiwania.

Atrybuty i dyrektywy tagów meta robots

Korzystanie z meta tagów robots jest dość proste – wystarczy, że zrozumiesz, jak ustawić dwa atrybuty: name oraz content.

Atrybut name

W kontekście tagu meta robots, atrybut "name" służy do identyfikacji, dla którego rodzaju robota ma działać konkretna dyrektywa. Wartość tego atrybutu jest również określana jako user-agent (UA). Twój user-agent określa przeglądarkę, której używasz, ale w przypadku Google user-agent to na przykład Googlebot.

Najczęściej spotykaną wartością atrybutu "name" jest "robots", co oznacza, że dyrektywa dotyczy wszystkich robotów przeszukujących witrynę.

W powyższym przykładzie, "robots" jest wartością atrybutu "name" i sygnalizuje, że polecenia zawarte w atrybucie "content" ("noindex, nofollow") mają zastosowanie do wszystkich robotów wyszukiwarki.

Wartością atrybutu "name" może być również nazwa konkretnego robota, na przykład "googlebot", co oznacza, że dyrektywa dotyczy tylko robota Google.

Powyższy kod mówi tylko Googlebotowi (robotowi wyszukiwarki Google), aby nie indeksował strony, ale śledził linki na niej zawarte. Inne roboty wyszukiwarek nie są przez ten tag instruowane.

Istnieją setki różnych user-agents. Najczęstsze z nich to:

Google: Googlebot (sprawdź pełną listę robotów indeksujących Google)
Bing: Bingbot (sprawdź pełną listę robotów indeksujących Bing)
DuckDuckGo: DuckDuckBot
Baidu: Baiduspider
Yandex: YandexBot

Atrybut content i dyrektywy przeszukiwania/indeksowania

Atrybut "content" w tagu meta robots służy do przekazania konkretnych instrukcji (zwanych dyrektywami) dla robotów wyszukiwarek. Te instrukcje mówią robotom, jak mają przeszukiwać i indeksować informacje na stronie.

Jeśli nie ma dostępnego tagu meta robots, domyślnym ustawieniem jest index (indeksowanie strony) i follow (podążanie za linkami). Daje to robotom uprawnienia do wyświetlania strony w wynikach wyszukiwania i indeksowania wszystkich linków na stronie (chyba że mają określony atrybut rel=”nofollow”).

Poniżej znajdziesz najpopularniejsze dyrektywy obsługiwane przez Google, które mogą służyć do kontrolowania indeksowania i wyświetlania stron zarówno za pomocą tagu meta robots, jak i X-Robots-Tag.

Możesz używać wielu dyrektyw jednocześnie i łączyć je, rozdzielając przecinkami lub podając w oddzielnych tagach meta, ale jeśli dyrektywy te są ze sobą sprzeczne (np. noindex, index) lub jedna jest podzbiorem innej (np. noindex, noarchive), Google użyje tej bardziej restrykcyjnej.

Wielkość liter w dyrektywach nie jest rozróżniana. Pamiętaj jednak, że niektóre wyszukiwarki mogą traktować te dyrektywy w różny sposób.

all

Dyrektywa all pozwala robotom indeksować stronę i podążać za wszystkimi linkami. Jest to domyślne zachowanie, więc nie ma konieczności dodawania tej dyrektywy, chyba że chcesz jej użyć do zastąpienia wcześniejszych dyrektyw.

Przykład:

noindex

Dyrektywa noindex mówi robotom, aby nie indeksowały strony.

Przykład:

nofollow

Dyrektywa nofollow mówi robotom, aby nie podążały za linkami na stronie.

Przykład:

none

None to skrócona forma dla "noindex, nofollow".

Przykład:

noarchive

Dyrektywa noarchive mówi robotom, aby nie przechowywały kopii strony w archiwum.

Przykład:

nositelinkssearchbox

Dyrektywa nositelinkssearchbox instruuje Google, aby nie wyświetlał pola wyszukiwania strony w wynikach wyszukiwania.

Przykład:

nosnippet

Dyrektywa nosnippet mówi robotom, aby nie wyświetlały fragmentów rozszerzonych (rich snippets) strony w wynikach wyszukiwania.

Przykład:

indexifembedded

Dyrektywa indexifembedded mówi robotom, aby indeksowały stronę tylko wtedy, gdy jest ona osadzona w innej stronie.

Przykład:

max-snippet: [liczba]

Dyrektywa max-snippet: [liczba] ogranicza długość fragmentu strony, który może być wyświetlany w wynikach wyszukiwania.

Przykład:

max-image-preview: [ustawienie]

Dyrektywa max-image-preview: [ustawienie] kontroluje, jak duże mogą być podglądy obrazów na stronie w wynikach wyszukiwania. Ustawienie może być "none", "standard" lub "large".

Przykład:

max-video-preview: [liczba]

Dyrektywa max-video-preview: [liczba] ogranicza długość podglądu wideo, który może być wyświetlony w wynikach wyszukiwania.

Przykład:

notranslate

Dyrektywa notranslate instruuje wyszukiwarki, aby nie proponowały tłumaczenia strony.

Przykład:

noimageindex

Dyrektywa noimageindex mówi robotom, aby nie indeksowały obrazów na stronie.

Przykład:

unavailable_after: [data/godzina]

Dyrektywa unavailable_after: [data/godzina] mówi robotom, że strona nie będzie dostępna po określonej dacie i godzinie.

Przykład:

Jak zaimplementować meta tag robots?

Poniżej znajdziesz instrukcje krok po kroku, jak zaimplementować tagi meta robots w kodzie HTML oraz w systemie CMS WordPress.

Implementacja meta tag robots w kodzie HTML

Implementacja tagów meta robots w kodzie HTML jest prosta. Wystarczy dodać tag <meta> do sekcji <head> strony. Tag powinien zawierać atrybut name ustawiony na "robots" (lub konkretny rodzaj robota) oraz content zawierający dyrektywę lub dyrektywy, które chcesz zastosować.

Przykład:

Taki tag mówi robotom wyszukiwarek, że nie powinny indeksować strony ani podążać za linkami na niej zawartymi. Możesz użyć dowolnej kombinacji dyrektyw, które są odpowiednie dla Twoich potrzeb.

Implementacja meta tag robots w WordPress

W przypadku WordPressa, najprostszym sposobem dodania tagów meta robots bez konieczności edycji kodu jest użycie wtyczki Yoast SEO.

Po zainstalowaniu i aktywacji wtyczki, przejdź do edytora strony lub posta, na której chcesz dodać tagi meta robots. W prawym dolnym rogu zobaczysz panel Yoast SEO. Kliknij sekcję "Advanced" (Zaawansowane), a następnie znajdziesz opcje "Allow search engines to show this page in search results?" (Zezwolić wyszukiwarkom na pokazywanie tej strony w wynikach wyszukiwania?) i "Should search engines follow links on this page?" (Czy wyszukiwarki powinny podążać za linkami na tej stronie?). Odpowiednie wybory w tych opcjach pozwolą na ustawienie tagów meta robots zgodnie z Twoimi preferencjami.

Co to jest X-Robots Tag?

X-Robots-Tag to nagłówek HTTP wysyłany z serwera www, który jest alternatywną do tagu meta robots metodą kontrolowania tego, w jaki sposób wyszukiwarki przeszukują i indeksują strony internetowe.

Kluczowa różnica polega na tym, że X-Robots-Tag jest przekazywany jako część nagłówka HTTP, a nie jako element strony HTML. To oznacza, że X-Robots-Tag może być stosowany do dowolnego rodzaju zawartości dostarczanej przez serwer HTTP, a nie tylko do stron HTML (jak ma to miejsce w przypadku meta robots). Dlatego jest on szczególnie przydatny dla zasobów, takich jak obrazy, pliki PDF czy filmy, które nie mogą zawierać tagów meta robots.

Podczas gdy implementacja tagów meta robots na stronach HTML jest stosunkowo prosta, X-Robots-Tag jest bardziej skomplikowany.

Każda wyżej opisana dyrektywa, której można użyć jako tagu meta robots, może być również zastosowana za pomocą X-Robots-Tag:

all: X-Robots-Tag: all
noindex: X-Robots-Tag: noindex
nofollow: X-Robots-Tag: nofollow
none: X-Robots-Tag: none
noarchive: X-Robots-Tag: noarchive
nositelinkssearchbox: X-Robots-Tag: nositelinkssearchbox
nosnippet: X-Robots-Tag: nosnippet
indexifembedded: X-Robots-Tag: indexifembedded
max-snippet: [liczba]: X-Robots-Tag: max-snippet:50
max-image-preview: [ustawienie]: X-Robots-Tag: max-image-preview:large
max-video-preview: [liczba]: X-Robots-Tag: max-video-preview:30
notranslate: X-Robots-Tag: notranslate
noimageindex: X-Robots-Tag: noimageindex
unavailable_after: [data/godzina]: X-Robots-Tag: unavailable_after: Friday, 01-Jul-23 05:00:00 PST

Jak zaimplementować X-Robots-Tag?

Implementacja X-Robots-Tag jest ściśle związana z rodzajem serwera, na którym działa Twoja strona internetowa. W tej części poradnika znajdziesz instrukcje dotyczące implementacji X-Robots-Tag na dwóch najpopularniejszych typach serwerów – Apache i Nginx.

Używanie X-Robots-Tag na serwerze Apache

Serwery oparte na Apache korzystają z pliku .htaccess do regulacji zachowania serwera na poziomie katalogów. Możesz wykorzystać ten plik do implementacji X-Robots-Tag.

Przykładowo, jeżeli chcesz uniemożliwić indeksowanie wszystkich plików PDF na Twojej stronie, możesz dodać do pliku .htaccess następujący fragment kodu:

<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>

Tym samym wszystkie pliki kończące się na .pdf będą oznaczone instrukcją dla robotów wyszukiwarek, aby nie indeksować tych plików i nie podążać za linkami, które je zawierają.

Używanie X-Robots-Tag na serwerze Nginx

Jeżeli natomiast pracujesz na serwerze Nginx, implementacja X-Robots-Tag wymaga modyfikacji pliku konfiguracyjnego serwera.

Przykładowo, jeżeli chcesz zastosować dyrektywę "noindex, nofollow" dla wszystkich plików PDF, dodaj do pliku konfiguracyjnego następujący kod:

location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}

Podobnie jak w przypadku serwera Apache, powyższy kod uniemożliwi indeksowanie plików PDF i podążanie za linkami, które do nich prowadzą.

Kiedy używać meta tagu robots, a kiedy X-Robots-Tag?

Zarówno meta tagi robots, jak i X-Robots-Tag umożliwiają kontrolę nad tym, jak strona jest przeszukiwana i indeksowana przez roboty wyszukiwarek, ale istnieją pewne aspekty, które mogą decydować o tym, który z tych elementów będzie bardziej odpowiedni.

Pliki inne niż HTML

Meta tagi robots są umieszczane bezpośrednio w kodzie HTML strony, co oznacza, że znajdują zastosowanie tylko w przypadku plików HTML. Jeżeli chcesz kontrolować indeksowanie plików innego typu, takich jak PDF czy obrazy, musisz zastosować X-Robots-Tag.

Stosowanie dyrektyw na dużą skalę

Jeżeli chcesz zastosować określone dyrektywy na dużą skalę, np. dla całej domeny lub subdomeny, podkatalogów czy stron z określonymi parametrami, znacznie łatwiej będzie to zrobić za pomocą X-Robots-Tag.

Dzięki możliwości dopasowania modyfikacji nagłówka HTTP do adresów URL i nazw plików za pomocą wyrażeń regularnych, użycie X-Robots-Tag jest mniej czasochłonne i nie wymaga tak dużych zasobów obliczeniowych, jak złożona masowa edycja kodu HTML.

Ruch z wyszukiwarek innych niż Google

Google obsługuje zarówno meta tagi robots, jak i X-Robots-Tag, ale nie dotyczy to wszystkich wyszukiwarek internetowych. Jeżeli zależałoby Ci na przykład na pozyskiwaniu ruchu z czeskiej wyszukiwarki Seznam, musiałbyś zastosować wyłącznie meta tagi robots.

Wpływ meta robots i X-Robots Tag na SEO

Meta robots i X-Robots-Tag odgrywają istotną rolę w strategii SEO każdej strony internetowej. Wykorzystując te mechanizmy, masz możliwość sterowania tym, jak roboty wyszukiwarek przeszukują i indeksują Twoją stronę, co bezpośrednio wpływa na jej pozycję w wynikach wyszukiwania.

Kontrola indeksowania: możesz używać tagu meta robots lub X-Robots-Tag do instruowania robotów wyszukiwarek, aby nie indeksowały konkretnej strony (za pomocą dyrektywy "noindex"). Jest to szczególnie przydatne, jeśli masz strony, których nie chcesz wyświetlać w wynikach wyszukiwania, na przykład strony administracyjne, strony z niewielką zawartością lub znikomą wartością dla użytkownika (thin content), strony ze zduplikowaną treścią (duplicate content) czy strony, które są w trakcie budowy.
Kontrola śledzenia linków: za pomocą dyrektywy "nofollow" możesz powiedzieć robotom wyszukiwarek, aby nie podążały za linkami na danej stronie. To może być przydatne, jeśli linkujesz do stron, których nie chcesz wspierać pod względem SEO, lub jeśli chcesz skupić moc linków na określonych stronach.
Zarządzanie cache'owaniem i wyświetlaniem fragmentów: inne dyrektywy, takie jak "noarchive" i "nosnippet", pozwalają kontrolować, czy wyszukiwarki mogą przechowywać kopię strony w cache'u oraz czy mogą wyświetlać fragmenty strony w wynikach wyszukiwania.

Korzystanie z tagu meta robots lub X-Robots-Tag daje Ci dodatkową kontrolę nad tym, jak Twoja strona jest prezentowana w wynikach wyszukiwania, co może mieć kluczowe znaczenie dla Twojej strategii SEO.

Najlepsze praktyki dotyczące użycia meta robots i X-Robots Tag

Zarządzanie indeksowaniem i śledzeniem strony internetowej przez roboty wyszukiwarek jest kluczowym elementem strategii SEO. Poniżej znajdziesz kilka najlepszych praktyk dotyczących użycia meta tagów robots i X-Robots-Tag.

Precyzyjne sterowanie indeksowaniem: wykorzystaj dyrektywy "noindex" i "index" w meta tagu robots, aby precyzyjnie kontrolować, które strony powinny być indeksowane przez roboty wyszukiwarek. Pamiętaj, aby nie blokować dostępu do cennych dla użytkownika stron.
Używanie "nofollow" z rozwagą: dyrektywa "nofollow" powinna być stosowana ostrożnie, aby nie uniemożliwić indeksowania wartościowych adresów URL.
Sterowanie indeksowaniem plików innych niż HTML: pamiętaj, że meta tag robots nie działa w przypadku plików innych niż HTML. Aby kontrolować indeksowanie takich plików, jak PDF czy obrazy, użyj X-Robots-Tag.
Odpowiednie zastosowanie X-Robots-Tag: w przypadku stosowania X-Robots-Tag, pamiętaj, że wprowadzasz zmiany na poziomie serwera, które mogą wpływać na dużą część lub całą Twoją stronę internetową. Przed zastosowaniem X-Robots-Tag upewnij się, że rozumiesz jego działanie i potencjalne skutki.
Zapobieganie błędom związanym z konfliktem dyrektyw: czasami może się zdarzyć, że w jednym tagu robots użyjesz sprzecznych dyrektyw. Na przykład, użycie "noindex, follow" może spowodować, że roboty wyszukiwarek nie będą wiedziały, czy powinny śledzić linki na stronie, która nie ma być indeksowana. Zawsze upewnij się, że dyrektywy są spójne i nie wprowadzają w błąd robotów wyszukiwarek.
Testowanie i monitorowanie: po wprowadzeniu zmian w meta tagach robots lub X-Robots-Tag, upewnij się, że monitorujesz efekty tych zmian. Wykorzystaj narzędzia takie jak Google Search Console, aby sprawdzić, jak zmiany wpływają na indeksowanie i pozycję Twojej strony w wynikach wyszukiwania.
Uwzględnianie różnic między wyszukiwarkami: pamiętaj, że różne wyszukiwarki mogą różnie obsługiwać meta tagi robots i X-Robots-Tag. Upewnij się, że Twoje ustawienia są zgodne z wytycznymi najważniejszych dla Ciebie wyszukiwarek.

Zastosowanie tych praktyk pomoże Ci skutecznie zarządzać indeksowaniem i śledzeniem Twojej strony przez roboty wyszukiwarek, co przyczyni się do poprawy jej widoczności w wynikach wyszukiwania.

Meta robots i X-Robots-Tag a plik robots.txt

Meta robots i X-Robots-Tag działają na poziomie pojedynczych stron, podczas gdy plik robots.txt działa na poziomie całej strony internetowej. Mimo że zarówno meta robots, X-Robots-Tag, jak i robots.txt mogą wpływać na działanie robotów wyszukiwarek, ich zastosowanie jest różne.

Plik robots.txt służy głównie do ograniczania dostępu do określonych części witryny dla robotów wyszukiwarek. Możesz w nim określić, które katalogi (lub nawet konkretne pliki) powinny być niedostępne dla robotów. To nie oznacza jednak, że te strony nie będą indeksowane. Jeżeli inne strony linkują do strony zablokowanej w pliku robots.txt, może ona nadal zostać zaindeksowana.

Plik robots.txt zarządza dostępnością treści dla robotów indeksujących, ale nie mówi im, czy powinny ją indeksować czy nie. Do tego właśnie służą meta tagi robots i nagłówek HTTP X-Robots-Tag. Plik robots.txt nie pozwala zatem na korzystanie z dyrektyw takich jak "noindex", "nofollow" czy "noarchive".

Meta robots i X-Robots-Tag pozwalają na bardziej precyzyjne sterowanie zachowaniem robotów wyszukiwarek na poszczególnych stronach. Dzięki nim możesz zdecydować, czy dana strona powinna być indeksowana ("noindex" lub "index"), czy roboty powinny podążać za linkami na stronie ("nofollow" lub "follow") lub czy strona powinna być zarchiwizowana ("noarchive").

Warto pamiętać, że jeżeli strona jest zablokowana w pliku robots.txt, roboty wyszukiwarek nie będą w stanie zobaczyć i zastosować się do dyrektyw zawartych w meta tagu robots lub X-Robots-Tag na tej stronie. Dlatego ważne jest, aby te różne metody były używane w sposób komplementarny i spójny, aby skutecznie zarządzać indeksowaniem i śledzeniem strony przez roboty wyszukiwarek.

Dyrektywy w meta robots i X-Robots-Tag – podsumowanie

Większość działań SEO zwykle nie wykracza poza dyrektywy noindex i nofollow, ale warto wiedzieć, że istnieją także inne parametry kontrolujące indeksowanie i wyświetlanie stron w wyszukiwarkach internetowych.

Poprzez zrozumienie i umiejętne zastosowanie różnych dyrektyw, możesz sprawić, że Twoja strona będzie efektywnie indeksowana, a treści niskiej jakości lub zduplikowane nie wpłyną negatywnie na jej widoczność w wynikach wyszukiwania.

Pamiętaj jednak, że dyrektywy określane za pomocą tagów meta robots lub X-Robots-Tag powinny iść w parze z innymi praktykami SEO, takimi jak optymalizacja treści czy link building. Tylko holistyczne podejście do SEO zapewni Twojej stronie wysoką pozycję w wynikach wyszukiwania.