Jak poprawić crawl budget dla dużych stron WordPress

Wprowadzenie – czym jest crawl budget i dlaczego jest ważny

Crawl budget to zbiór adresów, które Googlebot może i chce odwiedzić. Zależy od możliwości serwera oraz zapotrzebowania Google na odwiedziny. Pobranie strony nie oznacza jeszcze, że trafi ona do indeksu.

Większość witryn nie musi optymalizować tego budżetu. Warto się nim zająć, gdy bardzo duży lub często aktualizowany serwis ma problemy z odkrywaniem nowych treści, a logi pokazują wiele żądań do zbędnych adresów. Sam rozmiar witryny nie dowodzi problemu.

Poniżej znajdziesz sposób na sprawdzenie przyczyn i uporządkowanie adresów bez blokowania stron potrzebnych klientom i wyszukiwarkom.

Analiza obecnego crawl budgetu strony

Zanim zaczniesz optymalizację, musisz zrozumieć, jak Googlebot obecnie traktuje Twoją stronę. Analiza crawl budgetu wymaga kilku narzędzi i podejścia:

Krok 1: Sprawdzenie statystyk indeksowania w Google Search Console

1. Zaloguj się do Google Search Console
2. Przejdź do Ustawienia → Statystyki indeksowania
3. Porównaj liczbę żądań, czas odpowiedzi oraz podział odpowiedzi i celów indeksowania w kolejnych okresach
4. W raporcie Indeksowanie → Strony sprawdź przyczyny wykluczeń, a dla konkretnych adresów użyj narzędzia sprawdzania URL

Krok 2: Analiza logów serwera

Logi serwera pozwalają zobaczyć konkretne żądania, których nie pokazuje zbiorczy raport. Nagłówek user-agent można podszyć: przed wyciągnięciem wniosków zweryfikuj robota według instrukcji Google. Logi mogą zawierać dane osobowe lub parametry sesji, więc ogranicz dostęp i okres ich przechowywania.

Co analizować w logach:

• Częstotliwość odwiedzin – jak często Googlebot odwiedza Twoją stronę
• Liczba żądań dziennie – ile adresów odwiedza bot w danym okresie
• Czas odpowiedzi – czy opóźnienia rosną podczas dużego ruchu
• Kody odpowiedzi – czy bot napotyka błędy 4xx/5xx
• Najczęściej odwiedzane wzorce URL – np. filtry, sortowanie i parametry sesji

Krok 3: Identyfikacja problemów z crawl budgetem

Sygnały, że masz problemy z crawl budgetem:

• Nowe strony pojawiają się w indeksie po tygodniach lub miesiącach
• Tylko niewielki procent Twoich stron jest zaindeksowanych
• Ważne nowe adresy długo nie są odkrywane mimo poprawnych linków i mapy witryny
• W logach widzisz wiele żądań do stron o niskiej wartości
• Serwer regularnie odpowiada błędami 5xx lub 429

To sygnały do diagnostyki, nie dowód braku crawl budgetu. Wykluczenie strony może być zamierzone, a opóźnienie indeksacji może wynikać także z jakości treści, duplikacji lub ustawień noindex.

Optymalizacja struktury linków wewnętrznych

Linki wewnętrzne to sygnały dla Googlebota, które strony są najważniejsze. Dobrze zaprojektowana architektura linków wewnętrznych może znacząco poprawić dystrybucję crawl budgetu:

Zasady optymalnej struktury linków wewnętrznych:

1. Hierarchia i głębokość

• Zapewnij ważnym podstronom czytelną drogę z odpowiedniej kategorii; nie ma sztywnego limitu kliknięć
• Struktura piramidy: najważniejsze strony na szczycie, mniej ważne niżej
• Unikaj "osieroconych" stron bez linków wewnętrznych

2. Siła linków wewnętrznych

• Strona główna – najwięcej linków wewnętrznych do najważniejszych kategorii
• Strony kategorii – linki do najważniejszych podstron i produktów
• Artykuły bloga – linki do powiązanych treści i stron produktowych

3. Optymalizacja nawigacji

• Menu główne – linki do najważniejszych sekcji, dobrane do potrzeb użytkowników
• Stopka – dodatkowe linki do ważnych stron (regulamin, kontakt, polityka prywatności)
• Breadcrumbs – nawigacja okruszkowa dla lepszej orientacji
• Menu boczne – linki do powiązanych kategorii i tagów

Praktyczne wdrożenia w WordPress:

Wtyczki do optymalizacji linków wewnętrznych:

• Yoast SEO Premium – sugestie linków wewnętrznych podczas edycji
• Link Whisper – automatyczne dodawanie powiązanych linków
• Internal Link Juicer – automatyczne linkowanie słów kluczowych

Struktura dla dużych sklepów WooCommerce:

• Strona główna → Kategorie główne → Podkategorie → Produkty
• Strona główna → Najpopularniejsze produkty
• Strona główna → Nowości → Produkty
• Blog → Kategorie → Artykuły → Produkty powiązane

Zarządzanie duplikatami contentu

Filtry i parametry mogą tworzyć wiele adresów prowadzących do podobnych treści. Zacznij od wzorców widocznych w logach, zamiast zakładać, że każda podobna strona jest problemem.

Typowe źródła duplikatów w WordPress:

1. Strony z paginacją

• Strony kategorii z paginacją (category/page/2/, category/page/3/)
• Archiwa z paginacją (tag/page/2/, author/page/2/)
• Wyniki wyszukiwania z paginacją

2. Warianty produktów (WooCommerce)

• Różne kolory, rozmiary tego samego produktu
• Warianty z minimalnymi zmianami w opisie
• Strony produktów z sortowaniem i filtrami

3. Archiwa i taksonomie

• Archiwa dat (2025/02/, 2025/02/14/)
• Archiwa autorów
• Archiwa formatów (format/video/, format/gallery/)

4. Parametry URL

• Parametry śledzenia (UTM)
• Parametry sesji (sessionid=)
• Parametry sortowania i filtrowania

Strategie eliminacji duplikatów:

1. Canonical tags

Dodaj tagi canonical do wszystkich stron z duplikatami:

• Strony paginacji – canonical zgodny z rzeczywistą treścią danej strony, bez sprowadzania całej paginacji do strony 1
• Warianty produktów – wybór zależy od tego, czy mają osobne, wartościowe strony; nie kieruj automatycznie wszystkich do produktu głównego
• Parametry śledzenia lub sortowania – jeśli treść jest równoważna, wskaż wersję podstawową

Canonical jest wskazówką, nie nakazem, i nie zapobiega wszystkim odwiedzinom duplikatów. Tam, gdzie to możliwe, ogranicz tworzenie zbędnych linków u źródła.

2. Meta robots noindex

Rozważ noindex dla stron, których nie chcesz widzieć w wynikach, na przykład:

• Wybrane archiwa dat i autorów, jeśli nie są przydatne w wynikach
• Strony wyszukiwania
• Wybrane archiwa bez wartości dla wyszukiwania, po sprawdzeniu ich roli i ruchu

Noindex służy wykluczeniu strony z indeksu, ale Google musi ją pobrać, żeby go odczytać. Nie łącz go z blokadą tego samego adresu w robots.txt. Strony paginacji mogą prowadzić do produktów, dlatego nie wykluczaj ich automatycznie od wybranego numeru.

3. Wdrożenie w WordPress:

• Yoast SEO – automatyczne zarządzanie canonical i noindex
• Rank Math – zaawansowane ustawienia dla typów treści
• Własny kod – dodanie meta tags do functions.php

Optymalizacja Mapy Strony XML

Mapa witryny pomaga Google odkrywać adresy, ale nie gwarantuje ich pobrania ani indeksacji. Umieszczaj w niej kanoniczne adresy, które mają pojawiać się w wynikach.

Podstawowe zasady optymalizacji sitemap:

1. Segmentacja map witryny

• Sitemap główny – indeks wszystkich pod-map
• Sitemap postów – wszystkie artykuły bloga
• Sitemap stron – statyczne strony (o nas, kontakt, oferta)
• Sitemap produktów – wszystkie produkty WooCommerce
• Sitemap kategorii – tylko najważniejsze kategorie
• Obrazy – uwzględnij w mapie, jeśli chcesz pomóc Google je odkryć; osobny plik nie jest obowiązkowy

2. Priorytety i częstotliwość aktualizacji

• Strona główna – aktualizowana wtedy, gdy realnie się zmienia
• Produkty – uwzględniaj aktywne adresy z aktualną ofertą
• Artykuły bloga – dodawaj i aktualizuj zgodnie z publikacją treści
• Kategorie – zostaw tylko te, które mają wartość w indeksie
• Strony statyczne – utrzymuj w mapie tylko aktualne i ważne adresy

3. Ograniczenia i limity

• Maksymalnie 50,000 URL-i na jedną mapę
• Maksymalny rozmiar pliku: 50 MB po rozpakowaniu
• Tylko strony o kodzie 200 – bez przekierowań i błędów
• Bez stron noindex – nie dodawaj wykluczonych z indeksu

Znacznik lastmod powinien odzwierciedlać rzeczywistą istotną zmianę strony. Google ignoruje priority i changefreq; nie sterują one kolejnością odwiedzin.

Wdrożenie w WordPress:

Wtyczki do generowania sitemap:

• Yoast SEO – automatyczne generowanie segmentowanych map
• Rank Math – zaawansowane opcje konfiguracji
• XML Sitemaps – dedykowana wtyczka do map witryny

Własne rozwiązanie dla dużych witryn:

• Dynamiczne generowanie sitemap przez PHP
• Podział na mniejsze mapy według typów treści
• Automatyczne usuwanie starych URL-i z sitemap
• Kompresja gzip dla zmniejszenia rozmiaru plików

Kontrola crawlowania przez robots.txt

Robots.txt ogranicza pobieranie adresów przez współpracujące roboty, ale nie gwarantuje usunięcia adresu z wyników i nie chroni poufnych danych. Do wykluczania z indeksu służy noindex, a do ochrony dostępu — uwierzytelnianie.

Podstawowe zasady konfiguracji robots.txt:

1. Blokowanie niepotrzebnych zasobów

• Niepotrzebne kombinacje filtrów i sortowania – po potwierdzeniu, że nie mają być odkrywane ani pokazywane w wynikach
• Adresy wyszukiwania wewnętrznego – jeśli generują dużą liczbę zbędnych żądań; najpierw sprawdź stosowany format URL
• Ważne zasoby – nie blokuj CSS, JavaScript ani endpointów potrzebnych do renderowania stron

Jeśli adresy filtrów są już w indeksie, zaplanuj ich wykluczenie osobno: blokada robots.txt uniemożliwi odczyt noindex. Zmianę przetestuj na konkretnych adresach, także z parametrami w innej kolejności. Odzyskany czas nie musi zostać przeznaczony na inne strony.

2. Ostrożność przy ograniczaniu tempa crawlowania

• Google nie opiera crawlowania na dyrektywie crawl-delay, więc nie traktuj jej jako głównego narzędzia optymalizacji
• Nie licz na request-rate w Google – w praktyce ważniejsza jest wydajność serwera i porządek w indeksowaniu
• Unikaj zbyt restrykcyjnych blokad – mogą utrudnić indeksowanie ważnych sekcji

3. Zezwolenia dla ważnych zasobów

• Zezwalaj na CSS i JS – potrzebne do renderowania
• Zezwalaj na obrazy – ważne dla wyników wizualnych
• Zezwalaj na sitemap – wskazanie lokalizacji map

Co sprawdzić w robots.txt dużej strony WordPress:

Sekcja User-agent:

• Dobierz reguły do rzeczywistych adresów serwisu zamiast kopiować uniwersalną listę blokad
• Sprawdź wpływ na strony docelowe, zasoby i funkcje sklepu przed publikacją

Sekcja Sitemap:

• Wskazanie głównej mapy witryny
• Wskazanie segmentowanych map (posty, produkty, kategorie)
• Wskazanie mapy obrazów

Poprawa szybkości ładowania strony

Gdy serwer odpowiada coraz wolniej lub zwraca liczne błędy 5xx albo 429, Google może ograniczyć tempo pobierania stron. Sprawdź przyczynę przeciążenia zamiast zakładać, że każdy wolny wynik testu oznacza problem z crawl budgetem.

Wpływ szybkości na crawl budget:

1. Czas odpowiedzi serwera

• Im niższy TTFB, tym lepiej – szczególnie przy dużych witrynach i sklepach
• Stabilne odpowiedzi serwera – ważniejsze niż pojedynczy wynik z jednego testu
• Powtarzalne spowolnienia – ograniczają efektywność indeksowania
• Nagłe skoki czasu odpowiedzi – zwykle sygnalizują problem z serwerem, bazą lub cache

2. Doświadczenie użytkowników

Core Web Vitals oceniają doświadczenie użytkowników, ale nie mierzą bezpośrednio budżetu crawlowania. Poniższe progi dotyczą 75. percentyla rzeczywistych wizyt:

• Largest Contentful Paint (LCP) – poniżej 2.5s
• Cumulative Layout Shift (CLS) – poniżej 0.1
• Interaction to Next Paint (INP) – poniżej 200ms

Optymalizacja serwera i hostingu:

1. Wybór odpowiedniego hostingu

• Dobierz zasoby hostingu do zmierzonego obciążenia, a nie tylko rozmiaru katalogu
• Utrzymuj wspieraną wersję PHP i bazy zgodną z WordPressem, motywem oraz wtyczkami; aktualizacje sprawdź najpierw na kopii testowej

2. Konfiguracja cache

• Cache strony – WP Rocket, LiteSpeed Cache
• Cache obiektów – Redis, Memcached
• Cache bazy danych – ostrożnie i tylko wtedy, gdy ma sens w danym środowisku
• CDN – może odciążyć serwer przy obsłudze zasobów statycznych

W WooCommerce nie udostępniaj z publicznego cache koszyka, zamówienia ani danych konta. Po zmianie sprawdź również odświeżanie cen, stanów i nowych treści.

Optymalizacja WordPress:

1. Optymalizacja bazy danych

• Najpierw zidentyfikuj wolne zapytania i ich źródło; nie dodawaj indeksów ani nie usuwaj danych w ciemno
• Przed zmianami w bazie wykonaj kopię i sprawdź możliwość jej przywrócenia

2. Optymalizacja zasobów

• Kompresja obrazów (WebP, lazy loading)
• Minimalizacja CSS i JavaScript
• Usunięcie niepotrzebnych wtyczek
• Optymalizacja czcionek (preload, font-display)

Usuwanie niepotrzebnych podstron

Przed usunięciem strony sprawdź jej przydatność dla klientów, ruch, linki i zobowiązania prawne. Sama niska liczba wizyt nie oznacza, że należy ją usunąć.

Identyfikacja niepotrzebnych podstron:

1. Strony o niskiej wartości SEO

• Mały ruch lub brak konwersji – sprawdź także sezonowość i inne źródła odwiedzin
• Niska przydatność – np. powielone lub nieaktualne informacje; sama liczba słów nie przesądza o jakości
• Przestarzałe informacje – nieaktualne dane, wydarzenia

2. Strony techniczne i systemowe

• Błędne adresy – popraw linki do nieistniejących stron; błędy 500 i 503 wymagają diagnostyki serwera, nie usuwania stron
• Strony testowe – wersje deweloperskie
• Strony z parametrami – UTM, sesje, sortowanie
• Duplikaty – wersje www/non-www, http/https

3. Strony z niską jakością

• Treści generowane automatycznie – auto-blogowanie
• Strony z thin content – minimalna treść
• Strony doorway – stworzone tylko dla SEO
• Strony spamerskie – komentarze spamu, profile

Proces usuwania niepotrzebnych podstron:

Krok 1: Audyt i analiza

1. Eksport danych o ruchu z GA4 lub innego narzędzia analitycznego
2. Przegląd raportu Strony w Google Search Console i porównanie go z listą adresów witryny
3. Analiza ruchu organicznego dla każdej strony
4. Identyfikacja stron bez wartości SEO

Krok 2: Klasyfikacja stron

• Do usunięcia – brak wartości, duplikaty, błędy
• Do aktualizacji – potencjał, ale wymaga pracy
• Do zachowania – wysoka wartość, dobry ruch

Krok 3: Implementacja

1. Wykonaj kopię i przygotuj listę zmian. Stronę z właściwym, trwałym odpowiednikiem przekieruj na niego kodem 301
2. Jeśli odpowiednika nie ma, zwróć 404 lub 410; nie przekierowuj automatycznie wszystkiego na stronę główną. Produkt czasowo niedostępny zwykle warto zachować
3. Aktualizacja linków wewnętrznych
4. Usunięcie z mapy witryny XML

Narzędzia do analizy:

Analityka i monitoring:

• Google Analytics – analiza ruchu i konwersji
• Google Search Console – status indeksowania
• Screaming Frog – audyt techniczny
• Ahrefs/SEMrush – analiza wartości SEO

Wtyczki WordPress:

• WP Bulk Delete – masowe usuwanie treści
• Redirection – zarządzanie przekierowaniami
• Broken Link Checker – znajdowanie uszkodzonych linków

Monitorowanie crawl budgetu

Skuteczna optymalizacja crawl budgetu wymaga ciągłego monitorowania i analizy. Regularne śledzenie kluczowych metryk pozwala szybko identyfikować problemy i dostosowywać strategię:

Kluczowe metryki do monitorowania:

1. Statystyki indeksowania (Google Search Console)

• Statystyki indeksowania – żądania, odpowiedzi i czas odpowiedzi w kolejnych okresach
• Raport Strony – trendy indeksacji i przyczyny wykluczeń ważnych adresów

2. Analiza logów serwera

• Liczba żądań dziennie – trend w czasie
• Czas odpowiedzi serwera – średnia i mediany
• Kody odpowiedzi HTTP – rozkład 2xx/3xx/4xx/5xx
• Najczęściej odwiedzane URL-e – top 100 stron

3. Wydajność strony

• Core Web Vitals – LCP, INP, CLS
• Czas ładowania strony – średni i mediany
• Dostępność serwera – uptime i czas odpowiedzi
• Błędy 5xx – częstotliwość i przyczyny

Narzędzia do monitorowania:

1. Google Search Console

• Statystyki indeksowania – codzienne raporty
• Raporty doświadczeń strony – Core Web Vitals
• Mapy witryn – stan przetwarzania zgłoszonych map; nie jest gwarancją indeksacji adresów
• Raporty indeksowania i stron – problemy techniczne i wykluczenia

2. Narzędzia do analizy logów

• GoAccess – analiza logów w czasie rzeczywistym
• ELK Stack – zaawansowana analiza logów
• Splunk – enterprise rozwiązanie
• Custom scripts – własne rozwiązania PHP/Python

3. Monitoring wydajności

• Google PageSpeed Insights – analiza Core Web Vitals
• GTmetrix – szczegółowa analiza wydajności
• Pingdom – monitoring czasu odpowiedzi
• UptimeRobot – monitoring dostępności

Proces monitorowania:

Przed zmianą zapisz liczbę żądań do wybranego wzorca URL, udział błędów i stan kilku ważnych stron. Po wdrożeniu porównaj podobne okresy, uwzględniając sezonowość. Ustaw alerty dostępności, a raporty przeglądaj częściej po dużych zmianach. Efekty w Google mogą pojawić się z opóźnieniem.

Podsumowanie – maksymalizacja crawl budgetu

Zacznij od sprawdzenia, czy ważne adresy rzeczywiście nie są odkrywane oraz na co Googlebot przeznacza żądania. Następnie popraw konkretną przyczynę i porównaj wyniki.

Kluczowe wnioski:

1. Analiza i monitoring

• Regularna analiza statystyk indeksowania w Google Search Console
• Monitorowanie logów serwera dla śledzenia aktywności Googlebota
• Identyfikacja problemów z crawl budgetem na wczesnym etapie
• Śledzenie kluczowych metryk wydajności

2. Optymalizacja techniczna

• Ograniczenie zbędnych adresów i wskazanie właściwej wersji kanonicznej
• Optymalizacja struktury linków wewnętrznych
• Poprawa szybkości ładowania strony
• Ocena niepotrzebnych podstron przed ewentualnym usunięciem

3. Zarządzanie zasobami

• Segmentacja map witryny XML dla lepszej organizacji
• Konfiguracja robots.txt dla blokowania niepotrzebnych zasobów
• Priorytetyzacja najważniejszych stron
• Ograniczenie marnotrawstwa crawl budgetu

Więcej szczegółów znajdziesz w dokumentacji Google: zarządzanie crawl budgetem, adresy filtrowania i paginacja sklepów. Żadna z tych zmian nie gwarantuje wyższych pozycji ani ruchu.

Jeśli chcesz dowiedzieć się więcej o technicznym SEO WordPress, polecam nasz artykuł o sprawdzaniu i naprawianiu błędów indeksowania, który zawiera dodatkowe wskazówki dotyczące rozwiązywania problemów z Google Search Console.