Svi manje-više znamo da Google ne može odmah “skenirati, pročešljati ili indeksirati” svaku stranicu na određenoj web lokaciji i da indeksiranje zapravo može potrajati sedmicama.
Problem nastaje kada se nova stranica na vašem sajtu iz nekog razloga ne može indeksirati, a rješenje ovog problema je optimizacija vlastitog budžeta za pretraživanje sadržaja.
U nastavku ćemo objasniti šta je pauk budžet, kako ga optimizirati i koliki uticaj ima na vaše prisustvo i poziciju u pretraživačima.
Što je crawl budget?
Povećanje budžeta je količina resursa koje Google koristi za indeksiranje (“pretraživanje”) svih stranica na vašoj web lokaciji. Možemo reći da je vaš budžet za indeksiranje jednak broju indeksiranih stranica po danu, ali ovi podaci nisu sasvim tačni jer neke stranice (ovisno o veličini) troše više resursa.
Broj stranica koje Google indeksira ili vaš budžet za indeksiranje ovisi o veličini vaše web stranice, greškama koje Google botovi indeksiraju prilikom indeksiranja, brzini kojom se vaša stranica ažurira i broju veza.
Google određuje vaš budžet za indeksiranje upoređujući ograničenje stope indeksiranja sa vašim upitom za pretraživanje.
- Na crawl rate limit utječe brzina učitavanja vaše stranice, te razne pogreške ili ograničenja kod indeksiranja. Odgovara na pitanja koliko brzo ili sporo se učitava vaša stranica i jesu li Google botovi naišli na pogreške prilikom indeksiranja?!
- Na crawl demand utječe popularnost vaše stranice točnije “svježina” ažuriranja i odgovara upravo na pitanje koliko je popularna vaša web lokacija te koliko su zastarjele stranice i sadržaj.
Zašto je crawl budget važan za SEO?
Povećanje budžeta možda nije faktor koji direktno utiče na pozicioniranje pretraživača, ali svakako određuje koliko će se brzo vaša stranica pojaviti u rezultatima pretrage. Dakle, ako Google ne indeksira vaš sajt, hoće li se moći pozicionirati u pretraživačima?!
Odgovor je – ne!
Stoga bi vaš budžet za indeksiranje trebao biti u skladu sa brzinom ažuriranja vaše stranice.
Jedan od razloga zašto nemate “dovoljan” budžet za indeksiranje, na primjer, je taj što Google ne smatra vašu web stranicu dovoljno važnom, konkretno sadržaj na vašoj web stranici se ne smatra korisnim i relevantnim za korisnika. Ovo je obično loše korisničko iskustvo kada Google “čeka” da vam se reputacija poboljša ili da počnete objavljivati kvalitetniji sadržaj.
Pored navedenog, postoje i određeni tehnički problemi koji sprječavaju Google botove da “skeniraju” i posjećuju vašu stranicu.
Srećom, postoji rješenje za svaki problem. U ovom slučaju, evo nekoliko rješenja koja će pomoći Googleu da indeksira vašu web lokaciju i poveća budžet za pretraživanje sadržaja, a evo i liste:
1. Uploudajte Sitemap na Google Search Console
Sitemap je dokument koji sadrži sve stranice na vašoj web lokaciji koje želite indeksirati, konkretno Sitemap je samo prijedlog Google-u koje stranice da indeksira, ali Google na kraju odlučuje koje stranice će indeksirati. Google koristi Sitemap da vam pomogne da shvatite koliko stranica i podstranica ima vaša web lokacija i koje stranice su vam važne i želite da budete indeksirani.
Povezivanje Google Sitemaps-a sa GSC-om smatra se dobrim korakom u optimizaciji vašeg budžeta za indeksiranje, ali je opciono.
2. Riješite probleme s indeksiranjem vaše web stranice
Riješite probleme s indeksiranjem vaše web stranice
Problemi s indeksiranjem su najčešći kada Google želi posjetiti određenu web adresu, misli da je treba indeksirati, ali ne može joj pristupiti.
Postoje dva slučaja u kojima Google prima pogrešne signale i kada se vaš budžet za pretraživanje sadržaja troši nepotrebno.
Prvi primjer se odnosi na stranice koje ne želite ili im nije dozvoljeno indeksirati, a zahtjev za grešku indeksiranja je poslan Googleu. U tom slučaju morate otkazati zahtjev za prijavu i ukloniti određenu stranicu sa svoje stranice ili ukloniti sve interne veze koje vode do te stranice.
Drugi primjer se odnosi na stranice koje trebate i želite indeksirati, ali je zahtjev odbijen iz nekog razloga. Zatim morate provjeriti šta blokira pristup (greške preusmjeravanja) i u skladu s tim riješiti problem.
Ovi problemi se najlakše i, po našem mišljenju, najlakše rješavaju uz pomoć GSC-a.
U odeljku Pokrivenost možete pronaći listu svih grešaka, tipova grešaka i broja stranica na koje utiče bilo koji problem.
3. Blokirajte (“sakrij”) dijelove vaše web stranice koji ne bi trebali biti indeksirani
Ako na svojoj web stranici imate dijelove koji ne moraju biti na Googleu, blokirajte ih pomoću robots.txt. datoteke. To je najčešće slučaj za veće web-lokacije, posebno online trgovine, gdje možete koristiti (implementirati) filtere kako biste bili sigurni da dozvoljavate Googleu da “skenira”.
Bez obzira na robots.txt. Google i dalje može prikazivati ”blokirane” stranice, u kom slučaju morate koristiti hashtagove #noindex i #nofollow.
Napomena: Za ovaj proces morate razumjeti šta radite, kontaktirati programere ili unajmiti stručnjake.
4. Uklonite (“sakrij”) nepotrebne resurse
Možete uštedjeti dobar dio budžeta za pretraživanje sadržaja ili indeksiranje tako što ćete uputiti Google da ignorira nebitne izvore kao što su fotografije, video zapisi ili različiti GIF-ovi. Ovi sadržaji zauzimaju dosta memorije, a većinu vremena služe samo za zabavu korisnika, a ne za razumijevanje sadržaja vaše web stranice.
5. Smanjite broj konverzija
Smanjite broj konverzija
Ako imate previše konverzija 301 i 302, Google će u nekom trenutku prestati pratiti sve konverzije i vaša odredišna stranica možda neće biti indeksirana.
Na primjer, kada preusmjerite “non-www” na “www” i “http” na “https”, imate dva preusmjeravanja na obje veze, pa je važno da vaš webmaster napravi jedno preusmjeravanje za sve ovo.
Ako Google botovi naiđu na mnogo grešaka 5xx servera tokom indeksiranja, to može smanjiti vaše ograničenje brzine indeksiranja, a time i budžet za indeksiranje.
Ako Google botovi primjete veliki broj statusnih kodova osim 200, bit će potrebno mnogo vremena i resursa za indeksiranje stranica koje ste možda izbrisali ili preusmjerili.
Kako biste bolje optimizirali budžet za pretraživanje sadržaja, izbjegavajte:
- Preusmjereni URL-ovi
- Nekanonske verzije stranice
- URL-ovi sa statusnim kodom 404
6. Smanjite probleme sa dupliranim sadržajem
Smanjite probleme sa dupliranim sadržajem
Duplikat sadržaja znači da imate dvije ili više stranica sa istim ili gotovo istim sadržajem. Takav sadržaj se generiše zbog dinamičkih URL-ova, preusmjeravanje nije postavljeno, pogrešnog preusmjeravanja “non-www” na “www” ili “http” na “https”.
Također, zbog duplog sadržaja trošite duplo više na budžet za pretraživanje sadržaja nego što biste trebali. Stoga se pobrinite da imate duplirani sadržaj, ali u isto vrijeme provjerite je li sadržaj koji nudite jedinstven, kvalitetan i relevantan.
Također možete spriječiti potencijalno umnožavanje problema korištenjem kanonske oznake da kažete pretraživačima da je određeni sadržaj zapravo kopija stranice, ili da kažete Googleu da stranice izgledaju kao “jaje na jaje”.
Možete koristiti kanonsku oznaku za spajanje duplikata URL-ova. Duplikat sadržaja se odnosi na, recimo, jednu stranicu kojoj možete pristupiti s različitih URL-ova ili različitih stranica sa sličnim sadržajem (kao što su mobilne i desktop verzije iste stranice), koju Google vidi kao duplikat iste stranice.
Stoga, trebate reći Googleu putem kanonske oznake koja stranica je duplikat i koji od vaših botova zapravo želi da bude indeksiran.
Ako, s druge strane, imate sadržaj na ovim “sličnim / istim stranicama” koji se razlikuje i želite da se indeksira, onda morate biti sigurni da se stranice dovoljno razlikuju od sadržaja.
Jedno od rješenja? – Koristite datoteku robots.txt da kažete pretraživačima šta ne bi trebalo da indeksiraju!
7. Optimizirajte strukturu web stranice
Optimizirajte strukturu web stranice
Povezivanje možda nije direktno povezano s vašim budžetom za pretraživanje sadržaja, ali Google daje veći značaj stranicama koje su direktno povezane s vašom početnom stranicom i češće ih indeksira.
Općenito, dobar je savjet za SEO i UX da sve relevantne stranice (dijelove stranice) drže do 3 klika udaljene od početne stranice.
Većina vas je vjerovatno mislila da je SEO samo vrijedan sadržaj, ključne riječi, linkovi i stranice koje „izgledaju dobro“.
Iz ovog teksta mogli bismo saznati da “lijepa stranica” koju kupci najčešće žele, u svojoj pozadini, tačnije u kodu, osim što je lijepa i vrijedna za korisnika, može poboljšati mnoge funkcije.
Na početku teksta možda ne znate ni šta je crawl budžet, ili možda ne razumete njegovu važnost, ali on je bio i biće važan svakom SEO stručnjaku.
Korištenje gore navedenih savjeta za optimizaciju budžeta za indeksiranje ne samo da će povećati vaš budžet za pretraživanje sadržaja, već će i povećati promet na vašoj web lokaciji, a time i prihod.
Vjerujemo da će vam ovi savjeti pomoći da optimizirate svoj budžet za pretraživanje sadržaja, vašu web stranicu i SEO funkcije.
Ako još ne znate sami, barem znate da smo mi tim koji posjeduje najbolje SEO stručnjake.