You are currently viewing Crawl Budget: Czym jest i jak wpływa na SEO?

Crawl Budget: Czym jest i jak wpływa na SEO?

Czym jest Crawl Budget? Jak Crawl Budget wpływa na SEO? Jak Google Indeksuje strony?

Czym jest Crawl Budget?

Budżet indeksowania to liczba adresów URL, które Googlebot może i chce zaindeksować w danej witrynie. To jeden z kluczowych czynników decydujących o Twojej widoczności w wyszukiwaniu – jeśli Twoje strony nie będą crawlowane przez Googlebota, nie zostaną zaindeksowane i wyświetlone w wynikach wyszukiwania.

Jak Crawl Budget wpływa na SEO?

Jeśli Googlebot przeznaczy zasoby na indeksowanie stron niskiej jakości w Twojej domenie, ryzykujesz, że bardziej wartościowe strony nie będą indeksowane wystarczająco często. Aby to złagodzić, możesz zoptymalizować budżet indeksowania.

Jak działa crawlowanie i indexowanie?

Aby naprawdę zrozumieć budżet indeksowania, musimy dowiedzieć się, jak Google zajmuje się indeksowaniem określonej witryny. Proces ten jest determinowany przez trzy czynniki:

–  limit szybkości indeksowania

– ile adresów URL może indeksować Google. Planowanie

– które adresy URL powinny być indeksowane i kiedy. Żądanie indeksowania

– ile adresów URL chce zaindeksować Google.

Przyczyny problemów z budżetem indeksowania

Jak więc właściwie powstają problemy z budżetem indeksowania?

Fasety

Główne problemy w witrynach, które mogą prowadzić do problemów z budżetem indeksowania, to po pierwsze aspekty. Więc możesz sobie wyobrazić na stronie e-comm, wyobraź sobie, że mamy stronę z laptopami. Być może uda nam się to przefiltrować według rozmiaru. Masz 15-calowy ekran i 16 gigabajtów pamięci RAM. Może istnieć wiele różnych kombinacji, które mogą prowadzić do bardzo dużej liczby adresów URL, podczas gdy w rzeczywistości mamy tylko jedną stronę lub jedną kategorię, jak o tym myślimy — stronę laptopów. Podobnie można je następnie zmienić, aby utworzyć inne adresy URL, które robią dokładnie to samo, ale muszą być oddzielnie indeksowane. Podobnie mogą być posortowane inaczej. Może istnieć paginacja i tak dalej i tak dalej. Możesz więc mieć jedną stronę kategorii generującą ogromną liczbę adresów URL.

Strony wyników wyszukiwania

Kilka innych rzeczy, które często się pojawiają, to strony wyników wyszukiwania z wewnętrznego wyszukiwania w witrynie, które często, zwłaszcza jeśli są podzielone na strony, mogą mieć wygenerowanych wiele różnych adresów URL.

Strony z ofertami

Strony z ofertami. Jeśli zezwolisz użytkownikom na przesyłanie własnych ofert lub treści, z czasem może to doprowadzić do ogromnej liczby adresów URL, jeśli pomyślisz o tablicy ogłoszeń lub czymś takim jak eBay i prawdopodobnie ma ogromną liczbę stron.

Rozwiązywanie problemów z budżetem indeksowania

A więc jakich narzędzi możesz użyć, aby rozwiązać te problemy i jak najlepiej wykorzystać budżet indeksowania? Jeśli więc zastanowimy się, jak normalny adres URL zachowuje się z Googlebotem, jako punkt odniesienia mówimy: tak, może być indeksowany, tak, może być indeksowany i tak, przekazuje PageRank. Tak więc adres URL taki jak ten, jeśli link do nich gdzieś w mojej witrynie, a następnie Google podąży za tym linkiem i zindeksuje te strony, prawdopodobnie nadal będą miały nawigację górną i nawigację obejmującą całą witrynę. Tak więc link, który faktycznie przeszedł do tych stron, będzie poniekąd przetworzony. Będą pewne straty z powodu rozmycia, gdy będziemy linkować przez tak wiele różnych stron i tak wiele różnych filtrów. Ale ostatecznie przetwarzamy to. Nie ma żadnej utraty nieszczelnego PageRank przez czarną dziurę.

Teraz na przeciwległym krańcu najbardziej ekstremalnym rozwiązaniem do indeksowania budżetu, jakie możesz zastosować, jest plik robots.txt. Jeśli więc zablokujesz stronę w pliku robots.txt, nie będzie można jej zindeksować. Tak świetnie, problem rozwiązany. No nie, bo tu są pewne kompromisy. Technicznie rzecz biorąc, witryny i strony zablokowane w pliku robots.txt mogą być indeksowane. Czasami widzisz witryny wyświetlane lub strony wyświetlane w SERPach z tym metaopisem nie mogą być wyświetlane, ponieważ strona jest zablokowana w pliku robots.txt lub tego rodzaju wiadomości. Tak więc technicznie mogą być indeksowane, ale funkcjonalnie nie będą oceniać niczego ani przynajmniej niczego skutecznego. Więc tak, no cóż, technicznie. Nie przekazują PageRank. Gdy łączymy się z taką stroną, nadal przekazujemy PageRank. Ale jeśli zostanie on następnie zablokowany w pliku robots.txt, PageRank nie przejdzie dalej. Więc w pewnym sensie stworzyliśmy przeciek i czarną dziurę. Jest to więc dość trudne rozwiązanie, chociaż jest łatwe do wdrożenia.

Nofollow na poziomie linku, mam na myśli to, że gdybyśmy wzięli nasze linki na głównej stronie kategorii laptopów, które wskazywały na te aspekty, i wewnętrznie umieścili atrybut nofollow na tych linkach, które miałyby pewne zalety i wady. Myślę, że lepszym przypadkiem użycia byłoby w rzeczywistości więcej w przypadku aukcji. Więc wyobraź sobie, że prowadzimy witrynę z używanymi samochodami, na której mamy miliony różnych rodzajów list produktów używanych. Teraz naprawdę nie chcemy, aby Google marnował czas na te indywidualne wykazy, być może w zależności od skali naszej witryny. Ale od czasu do czasu celebrytka może przesłać swój samochód lub coś w tym stylu, lub też może zostać przesłany bardzo rzadki samochód, który zacznie otrzymywać linki do mediów. Nie chcemy więc blokować tej strony w pliku robots.txt, ponieważ są to zewnętrzne linki, które w takim przypadku marnowalibyśmy. Więc co możemy zrobić, to na naszych wewnętrznych linkach do tej strony, możemy wewnętrznie nie śledzić linku. Czyli oznaczałoby to, że można go zindeksować, ale tylko wtedy, gdy zostanie znaleziony, tylko jeśli Google znajdzie go w inny sposób, czyli przez zewnętrzny link lub coś w tym rodzaju. Więc mamy tu w pewnym sensie dom pośredni. Teraz technicznie nofollow w dzisiejszych czasach jest wskazówką. Z mojego doświadczenia wynika, że ​​Google nie będzie indeksować stron, do których prowadzą linki tylko za pośrednictwem wewnętrznego nofollow. Jeśli znajdzie stronę w inny sposób, oczywiście nadal ją zaindeksuje. Ale ogólnie rzecz biorąc, może to być skuteczny sposób na ograniczenie budżetu indeksowania lub powinienem powiedzieć bardziej efektywnie, korzystając z budżetu indeksowania. Strona nadal może być indeksowana. To właśnie staraliśmy się osiągnąć w tym przykładzie. Nadal może przejść PageRank. To kolejna rzecz, którą staraliśmy się osiągnąć. Chociaż nadal tracisz część PageRank przez ten link nofollow. To nadal liczy się jako link, więc tracisz część PageRank, która w innym przypadku zostałaby wrzucona do tego linku.

Noindex i nofollow, więc jest to oczywiście bardzo powszechne rozwiązanie dla stron takich jak te w serwisach ecomm. Teraz w tym przypadku strona może zostać zindeksowana. Ale kiedy Google dotrze do tej strony, odkryje, że jest to strona noindex i będzie ją z czasem indeksować znacznie rzadziej, ponieważ indeksowanie strony noindex jest mniej sensowne. Więc znowu mamy tu coś w rodzaju półmetka. Oczywiście nie można go zindeksować. To bez indeksu. Nie przekazuje PageRank na zewnątrz. PageRank nadal jest przekazywany do tej strony, ale ponieważ w sekcji head ma nofollow, nie przekazuje PageRank na zewnątrz. To nie jest świetne rozwiązanie. Mamy pewne kompromisy, które musieliśmy tutaj osiągnąć, aby oszczędzić na budżecie indeksowania.

Więc wiele osób myślało, że rozwiązaniem tego byłoby użycie noindex follow jako pewnego rodzaju najlepsze z obu. Więc umieszczasz tag śledzący noindex w sekcji nagłówka jednej z tych stron i och, tak, każdy jest zwycięzcą, ponieważ nadal uzyskujemy takie same korzyści z indeksowania. Nadal nie indeksujemy tego rodzaju nowej zduplikowanej strony, której nie chcemy indeksować, ale rozwiązanie PageRank zostało naprawione. Cóż, kilka lat temu Google wyszedł i powiedział: „Och, sami nie zdawaliśmy sobie z tego sprawy, ale w rzeczywistości, w miarę jak z czasem indeksujemy tę stronę coraz rzadziej, przestaniemy widzieć link, a potem w pewnym sensie zniknie”. liczyć”. Więc w pewnym sensie sugerowali, że to już nie działa jako sposób na przekazywanie PageRank i ostatecznie będzie traktowane jako noindex i nofollow. Więc znowu mamy tam coś w rodzaju nieco kompromisowego rozwiązania.

Teraz to, co najlepsze ze wszystkich światów, może być kanoniczne. Dzięki tagowi kanonicznemu z czasem będzie się go nieco mniej indeksować, wersja kanoniczna, świetnie. Wciąż nie będzie indeksowana, wersja kanonizowana, świetnie i nadal przechodzi PageRank. Więc to wydaje się świetne. To wydaje się idealne w wielu przypadkach. Ale to działa tylko wtedy, gdy strony są w pobliżu wystarczająco duplikatów, że Google jest skłonne uznać je za duplikaty i szanować kanoniczne. Jeśli nie chcą uznać ich za duplikat, być może będziesz musiał wrócić do używania noindexu. Lub jeśli myślisz, że w rzeczywistości nie ma powodu, aby ten adres URL w ogóle istniał, nie wiem, skąd wzięła się ta niewłaściwa kombinacja kolejności, ale wydaje się to całkiem bezcelowe.

301

Nie będę już do tego linkował. Ale na wypadek, gdyby niektórzy ludzie nadal jakoś znaleźli adres URL, moglibyśmy użyć 301 jako pewnego rodzaju ekonomii, która w końcu będzie działać całkiem nieźle dla… Powiedziałbym, że nawet lepiej niż kanoniczny i noindex w celu zaoszczędzenia budżetu indeksowania, ponieważ Google nie nawet nie trzeba patrzeć na stronę w rzadkich przypadkach, gdy to sprawdza, ponieważ po prostu podąża za 301. Rozwiąże to nasz problem z indeksowaniem i przekaże PageRank. Ale oczywiście kompromis polega na tym, że użytkownicy również nie mogą uzyskać dostępu do tego adresu URL, więc musimy się z tym pogodzić.

Podsumowanie

__________________

Nie masz czasu na studiowanie dokumentacji Google, SEO i nauki digital marketingu, skorzystaj ze sprawdzonej firmy, która wie, czym jest Crawl Budget? Jak Crawl Budget wpływa na SEO? Jak Google Indeksuje strony? Jesteś we właściwym miejscu. Chętnie odpowiemy na wszystkie pytania i osobiście zadbamy o naprawę indeksowania Twojej strony oraz zadbamy o poprawę Twoich pozycji i widoczności w Google. W SEOMOD jesteśmy do Twojej dyspozycji od poniedziałku do piątku i zapraszamy do kontaktu telefonicznego: 733855676 lub mailowego: [email protected]

Przeczytaj także:

5 zmian które sprawią że będziesz Mobile-Friendly

Jak przyspieszyć stronę internetową?

Jak robić SEO dla Biur Nieruchomości?

Dodaj komentarz