Google Search Console to prawdziwa skarbnica wiedzy na temat twojej strony internetowej. Komunikaty generowane przez to narzędzie pozwalają lepiej zrozumieć, co poszło nie tak w procesie optymalizacji. Zastanawiasz się, co oznacza komunikat Strona wykluczona za pomocą tagu „noindex”? Poniżej odpowiadamy na to pytanie.
Żeby strona internetowa mogła spełniać swoje zadanie, musi generować ruch. Dla nikogo nie jest tajemnicą, że najcenniejszy, czyli najbardziej konwertujący jest ruch organiczny, pochodzący z bezpłatnych wyników wyszukiwania. Optymalizacja strony pod kątem wymogów algorytmów Google i poprawne poprowadzone działania off-site powinny poskutkować wysoką pozycją w wyszukiwarce. Czasami jednak zdarza się, że jeden błąd wyklucza możliwość zaindeksowania strony.
Strona wykluczona za pomocą tagu „noindex” – co oznacza ten komunikat?
Raport dostępny w Google Search Console w sekcji: Indeksowanie => Strony => Dlaczego strony nie są zindeksowane dostarcza mnóstwo danych na temat indeksacji. Do najistotniejszych należą informacje o błędach w indeksowaniu poszczególnych stron. Dlaczego określamy je jako „jedne z najistotniejszych”? Ponieważ raport błędów zawiera informacje zarówno o stronach, których wyłączenie z indeksowania jest działaniem zamierzonym, jak i o tych, które miały trafić do wyników wyszukiwania, ale z jakiegoś powodu nie mogą się tam znaleźć.
Komunikat Strona wykluczona za pomocą tagu „noindex” oznacza, że zawartość strony/podstrony nie może trafić do wyszukiwarki Google. Boty znalazły i przeskanowały twój adres URL, ale ze względu na oznaczenie go tagiem noindex nie mogą go zindeksować, co w praktyce oznacza, że adres nie będzie mógł wyświetlić się w wynikach wyszukiwania.
Dlaczego pojawia się taki komunikat?
Występowanie takiego komunikatu w raporcie GSC może mieć trzy przyczyny:
- użytkownik celowo wykluczył strony z indeksowania,
- metatag noindex został użyty przypadkowo,
- strona oznaczona metatagiem noindex trafiła do mapy witryny.
Nie wszystkie adresy URL powinny trafiać do wyników wyszukiwania. Dotyczy to stron z treścią zduplikowaną lub przedstawiającą niską jakość i wszystkich, których wyszukiwanie nie przekłada się na realną korzyść dla internautów: regulaminów promocji czasowych, polityki prywatności itp. Jeżeli komunikat dotyczy świadomie blokowanych stron, nie należy się nim przejmować. W tym kontekście nie oznacza błędu, więc możesz go zignorować. Problem zaczyna się w momencie, w którym raport dotyczy stron, które powinny trafić do indeksu.
Do takiej sytuacji może dojść w przypadku niepoprawnie opracowanej strategii indeksowania lub braku jej aktualizacji, gdy zmieniają się priorytety w tej kwestii. Warto zdać sobie sprawę z tego, że ceną, którą zapłacisz za taki bałagan, jest widoczność w wynikach wyszukiwania. Jeżeli więc komunikat dotyczy stron mających znaleźć się w indeksie, należy niezwłocznie uporać się z tym problemem.
Inny scenariusz – metatag noindex nie został usunięty po migracji witryny. Podczas „przeprowadzki” na inny serwer, standardem jest tworzenie wersji tymczasowej witryny, która jest „poligonem doświadczalnym” dla nowowprowadzonych zmian. Taki adres nie powinien być indeksowany w wynikach wyszukiwania, więc praktykę wprowadzania tagu noindex należy uznać w tym przypadku za zwyczajową. Jeżeli jednak webmaster zapomni o jego usunięciu już po zakończonej pracy, adres nie zostanie zindeksowany.
Istnieje jeszcze jeden scenariusz, w którym może pojawić się komunikat o wykluczeniu strony – adres oznaczony tagiem noindex trafił do mapy witryny. Google uznaje takie działanie za sprzeczne, ponieważ plik XML powinien wskazywać wyłącznie na strony, które mają być zindeksowane przez boty.
Ostatni scenariusz, który chcielibyśmy przedstawić to celowe działanie „osób trzecich” np. po odejściu pracownika z firmy lub rozwiązaniu umowy z agencją prowadzącą kampanię SEO – niestety takie przypadki także się zdarzają.
Jak poradzić sobie z tym błędem?
Jeżeli komunikat nie wynika ze świadomego działania, należy niezwłocznie skorygować błąd. Najpierw jednak trzeba namierzyć strony, których dotyczy.
Po otrzymaniu takiej wiadomości, klikamy „Rozwiąż problemy (Indeksowanie stron)”. Zostaniemy od razu przeniesieni do raportu „Indeksowanie stron”. Zjeżdżamy na sam dół do sekcji „Dlaczego strony nie są zindeksowane” i klikamy w wiersz „Strona wykluczona za pomocą tagu noindex”.
Na kolejnym ekranie uzyskamy szczegółowe informacje wraz z przykładami. Co ciekawe, każdy z przykładów możemy dokładnie przeanalizować. Google Search Console oferuje standardowe sprawdzenie adresu URL za pomocą dostępnego tam narzędzia, jak również jego weryfikację przy pomocy testera pliku robots.txt (o tym drugim opowiemy w kolejnym poradniku).
Jeżeli dany adres URL ma być indeksowany, powinniśmy ustalić, w jaki sposób został wykluczony z indeksu – czyli w jaki sposób dodano noindex.
Gdzie szukać tagu noindex?
Jest kilka możliwości, gdzie należy szukać tagu noindex. Poniżej przedstawiamy najpopularniejsze warianty.
Wariant 1 – noindex w sekcji head
Tag noindex znajduje się w kodzie źródłowym strony w sekcji <head></head>.
<meta name="robots" content="noindex, nofollow" />
W tej sytuacji wystarczy, że dla danej podstrony edytujesz ustawienia indeksowania w systemie CMS i zmienisz noindex, na index (lub odznaczysz opcję noindex). Jeśli strona nie posiada systemu do zarządzania treścią, musisz edytować kod źródłowy zamieniając noindex, nofollow” na „index, follow”. Po dokonaniu zmian prześlij i podmień plik na serwerze (najczęściej będzie to header.php, header.tpl, index.html itd.). Przed dokonaniem podmiany pamiętaj, aby wykonać jego kopię zapasową. Jeżeli usuwasz plik z serwera i ponownie wgrywasz – pamiętaj, aby sprawdzić uprawnienia do pliku.
Po przeprowadzeniu tej czynności musisz jeszcze przesłać adres URL do priorytetowej kolejki indeksowania. W tym celu skorzystaj z narzędzia dostępnego z poziomu Google Search Console – URL Inspection Tool.
Wariant 2 – noindex na poziomie nagłówka HTTP
Blokada indeksowania może być obecna na poziomie nagłówka odpowiedzi HTTP, poprzez zastosowanie dyrektywy X-Robots-Tag.
Co to jest X-Robots-Tag? X-Robots-Tag to specjalny nagłówek HTTP, który umożliwia stronie internetowej ustalenie reguł dotyczących indeksacji przez roboty wyszukiwarek. W nagłówku tym możemy określić, czy dana strona powinna być indeksowana, czy może być indeksowana, ale bez wyświetlania w wynikach wyszukiwania, a także czy nie powinna być indeksowana w ogóle. Dodatkowo, możemy zdefiniować okresy, w których nie chcemy, aby roboty odwiedzały naszą stronę. Pozwala to na lepszą kontrolę nad tym, co zostanie wyświetlone w wynikach wyszukiwania i co pozostanie ukryte. Pełną specyfikację dyrektywy X-Robots-Tag znajdziemy tutaj.
Noindex w nagłówku HTTP może zostać zaimplementowany na wiele sposobów, najpopularniejsze to:
- kod X-Robots-Tag zaimplementowany w pliku .htaccess,
- X-Robots-Tag zdefiniowany bezpośrednio w pliku konfiguracji serwera,
- X-Robots-Tag zaimplementowany w kodzie PHP (często znajduje się w zupełnie innym miejscu niż header.php).
Rozwiązanie problemu sprowadza się do ustalenia miejsca nałożenia blokady i usunięcia określonego zapisu implementującego noindex.
Usunięto noindex, ale adresy wciąż nie chcą się indeksować
Jeżeli twoje dotychczasowe działania w zakresie przywrócenia strony do indeksu spaliły na panewce, musisz zerknąć na niestandardowe metody usuwania stron z indeksu. Do najpopularniejszych należą:
- Stronę „potraktowano” przy pomocy Google Indexing API przesyłając żądanie jej wykluczenia,
- Wykorzystano narzędzie do usuwania adresów URL dostępne w Search Console (Indeksowanie => Usunięcia),
- Strona została zainfekowana wirusem, który może pobierać instrukcje z zewnętrznego serwera, aby usunąć stronę z indeksu,
- Adres URL został usunięty z indeksu w związku z uznaniem skargi DMCA.
W pierwszym przypadku rozwiązaniem jest ponowne przesłanie adresu do indeksu przy użyciu wszystkich dostępnych metod. Warto przed przesłaniem upewnić się co do jakości treści, rozmiaru żądania, czyli wielkości pliku pobieranego przez robota indeksującego oraz co do błędów HTML w kodzie źródłowym.
W drugim przypadku możesz poprosić o cofnięcie usunięcia z poziomu Search Console (obok danego adresu URL po kliknięciu na trójkropek wybierz opcję „Anuluj prośbę”).
W przypadku DMCA, jeśli otrzymałeś informacje o usunięciu adresu z wyszukiwarki, w treści komunikatu powinna być także informacja o możliwości złożenia „odwołania” (tzw. roszczenie wzajemne).
Najtrudniejsza sytuacja przedstawia się w punkcie 4 – niektóre wirusy infekujące strony internetowe mogą dodawać „noindex”. Co jest najgorsze, instrukcje mogą zostać pobrane z zewnętrznego serwera, mogą one być „zamaskowane” w kodzie, co znacząco utrudnia ich namierzenie. W tej sytuacji jedynym sposobem jest skrupulatne przeanalizowanie elementów kodu źródłowego dla każdego z plików oraz dla bazy danych oraz przeprowadzenie innych czynności typowych dla „odwirusowania strony”.
Warto w tym miejscu zaznaczyć, że jeżeli strona tuż przed usunięciem z indeksu uzyskała komunikat „Ta strona mogła paść ofiarą ataku hakerów”, procedura przywracania strony do indeksu nie kończy się na usunięciu szkodliwego oprogramowania z kodu strony. Aby przyspieszyć indeksowanie należy przeprowadzić dodatkowe czynności. O tym jednak opowiemy w kolejnych poradnikach.
