Google Crawl Budget

Sådan arbejder du med din hjemmesides crawl budget

Har du svært ved at få dine sider helt til tops i søgeresultaterne eller er der sider eller dele af hjemmesiden, som Google slet ikke vil indeksere? Så har du sandsynligvis ramt det crawl budget, som Google har tildelt jeres hjemmeside. Hvordan du udnytter jeres sides crawl budget bedre, giver Sasa Kovacevic fra Obsidian Digital nogle ideer til i denne artikel. Jeg overlader hermed ordet!

Hvis du ikke allerede vidste det, kommer det måske som noget af en overraskelse. Google har simpelthen ikke ressourcer nok til at få indekseret alle de sider, der findes på nettets største hjemmesider. Så på de helt store hjemmesider er det kun de mest populære sider og de dele af hjemmesiden, som Google vurderer, er mest vigtig, der bliver indekseret. 

Alt med en webadresse tæller med i jeres crawl budget

Det behøver ikke at betyde, at du skal have en enorm stor hjemmeside med tusindvis af sider, før du er i risikozonen for ikke at få alle siderne på jeres website indekseret. For når Google skal bedømme om sitet er så stort, at det skal have tildelt et crawlbudget, er det alle de crawlbare elementer, I har liggende på webserveren og i databasen, der tæller med. Alt hvad der kan tilgås med en webadresse, indgår i beregningen!

Så har I

  • websitets billeder liggende i mange forskellige formater,
  • opdelt CSS- og andre koder i flere forskellige filer,
  • mange statiske filer som f.eks. PDF-dokumenter,
  • sider, billeder og andre elementer, som ikke er anvendes længere
  • flere alternative versioner af hver side
  • en stor mængde tags-, kategori- og andre sider genereret af jeres CMS kan jeres site nemt ende med at få tildelt et crawl-budget, selv om det måske ikke er på mere end nogle hundrede sider.

Har I til gengæld ikke så mange sider eller anvender I ikke en masse forskellige grafiske og andre elementer på hjemmesiden, vil Googlebot gennemgå hele jeres website ved hvert besøg. Så små hjemmesider er ikke i fare for at få problemer med crawl budgettet.

Ingen indeksering er lig med ingen værdi

Men er jeres website så stort, at det har fået et crawl budget, betyder det til gengæld, at der er sider eller måske ligefrem hele områder på hjemmesiden, der aldrig bliver besøgt af Googlebot. Det betyder, at de pågældende sider ikke bliver indekseret af Google og derfor ikke kommer til hverken at optræde i søgeresultaterne eller give ”Google-juice” til hjemmesidens øvrige sider.

Det betyder igen, at de pågældende sider slet ikke vil kunne tiltrække den trafik, som det var meningen, at de skulle. Kun hvis der er andre som linker til dem, eller I selv gør det internt, vil der komme nogen ind på de pågældende sider.

Hvad bestemmer crawlbudgettet?

Når Google skal definere et crawlbudget for en stor hjemmeside, sker det først og fremmest på baggrund af svartiden fra jeres webserver. Således har dagsformen på webserveren stor betydning for, hvor meget crawlbudget Google tildeler ved hvert besøg. Svarer serveren hurtigt, crawler Googlebot flere sider ved besøget, end hvis webserveren er længe om at svare.

Hvor mange sider Google gennemgår ved hvert besøg, kan du se ud af crawlstatistikken på sitets Google Search Console (tidligere Webmaster tools). Her har du også mulighed for at sætte en begrænsning for, hvor mange forespørgsler Googlebot må sende til webserveren i minuttet.

Udover svartiden på webserveren har også kompleksiteten af websites opbygning, menu- og navigationsstrukturer, anvendelsen af session-ID og f.eks. hvor mange sider, der linker til sider med tyndt eller intet indhold, stor betydning for hvor meget crawl-budget websitet får tildelt. Også antallet af fejl og hackede sider har en betydning.

Hvordan bestemmer Google, hvad der skal indekseres

Når Google så skal beslutte sig for, hvad de skal anvende jeres hjemmesides crawlbudget til, kigger de på, hvilke sider eller områder på hjemmesiden, der er mest populære. De ser også på, hvilke allerede indekserede sider som det er længe siden, de har besøgt – og kan de så nå at indeksere mere eller møder de links til sider, de ikke har indekseret før, bruger de crawlbudgettet på det.

Kun hvis Google vurderer, at I har ændret så meget på strukturen på hjemmesiden, at det er nødvendigt at genindeksere sitet, kan I være heldige at få tildelt større crawl-budget.

Hvordan bruger Google vores crawl budget i dag?

Hvordan Google crawler jeres hjemmeside i dag, kan du få et indblik i, ved at se nærmere på logfilerne på webserveren. Her vil det fremgå, hvilke sider Googlebot har besøgt.

Det kan godt betale sig at undersøge, hvad Googlebot rent faktisk crawler i dag. For går du logfilerne igennem, kan det give dig nogle gode ideer til, hvordan du optimerer crawlbudgettet – eller rettere sørger for, at Google bruger det på rent faktisk at indeksere de sider, det giver værdi for jer at få indekseret.

Sådan forbedrer du udnyttelsen af crawlbudgettet

Når du skal optimere udnyttelsen af jeres crawl-budget, handler det først og fremmest om, at få optimeret svartiderne på webserveren og hver enkelt side på hjemmesiden. Så kan I få et så stort crawl budget tildelt som muligt.

Dernæst handler det om at få begrænset den tid, som Google bruger på at indekse sider og elementer, der ikke bidrager til jeres placeringer i søgeresultaterne. Det kan f.eks. gøres ved at:

  • Begrænse Googlebots adgang til mapperne på webserveren
  • Opbygge en mere flad struktur på websitet
  • Fjerne eller fjerne adgangen til CMS-genererede websider
  • Fjerne elementer som ikke anvendes længere fra de mapper, Googlebot har adgang til
  • Fjerne ligegyldige sider fra indekseringen med no-follow
  • Bruge intern linkbuilding til at øge chancen for, at Google indekserer alle sider på websitet

Begræns Googlebots adgang til mapperne på webserveren

Ved hjælp af Robots.txt har du mulighed for at begrænse adgangen til de mapper på webserveren, der indeholder de filer, som udgør hjemmesiden. Sikrer du, at adgangen er fjernet til alle mapper med systemfiler og andre elementer, som ikke giver værdi i Googles algoritmer, undgår du, at crawlbudgettet spildes på at indeksere dem.

Flytter du samtidig alle unødvendige filer ud af f.eks. rod-mappen og de undermapper, som Googlebot har adgang til, kan du måske ligefrem undgå, at dit site får tildelt et crawl-budget.

Opbyg en mere flad struktur på websitet

Har du mange undersider i nogle af sektionerne på hjemmesiden, risikerer du nemt, at de nederste sider i den enkelte sektion ikke bliver crawlet. For jo flere klik der er til en side fra startsiden, jo mindre vigtig er den set i Googles optik.

Omorganiserer du i stedet hjemmesiden, så den får en mere flad struktur, undgår du, at Google fravælger sider, fordi de mener, de ikke er relevante for jeres site.

Fjern eller fjern adgangen til CMS-genererede websider

Bruger I WordPress eller et andet CMS-system, kan du risikere, at jeres crawlbudget bliver brugt på at indeksere en masse systemgenererede websider. Det gælder f.eks. kategori- og tag-sider på WordPress, der dels ikke giver jer bedre rankings og dels bringer jer i fare for, at få straf for sider med dublicate content eller tyndt indhold – alt efter opsætningen af CMS’et.

Fjern elementer som ikke anvendes længere

Sørg også for at fjerne alle de websider, billeder og andre elementer, der ikke anvendes på hjemmesiden længere – både fra databasen i CMS-systemet og på de mapper, som Googlebot må crawle på webserveren. De æder af jeres crawlbudget til ingen verdens nytte.

Fjern ligegyldige sider fra crawlet med no-follow

Undgå at Googlebot følger interne links til sider med tyndt, intet eller duplikeret indhold, ved at føje et no-follow efter det interne link. Så undgår I at bruge unødigt crawlbudget på at få indekseret disse sider.

Brug intern linkbuilding til sikre at alle sider bliver indekseret

Sørg for masser af intern linkbuilding på hjemmesiden. Især fra de mest populære sider. Derved øger du chancerne for, at Google får indekseret de sider, som de ellers ikke har fået indekseret indtil videre.

Sørg for at udnytte crawl-budgettet mest optimalt

Ved at følge disse råd kan du optimere hvor meget Google får ud af hver crawl på jeres hjemmeside. Det er med til at sikre, at jeres hjemmeside får det rigtige fodaftryk i Googles indek. Samtidig sikrer du, at alle sider på hjemmesiden bidrager med trafik til jeres website.

God arbejdslyst med optimeringerne.

1 Stjerne2 Stjerner3 Stjerner4 Stjerner5 Stjerner


Loading...
Kunne du lide hvad du læste, så del det endelig med andre 🙂
Share on Google+Share on FacebookTweet about this on TwitterShare on LinkedInEmail this to someone
0 replies

Skriv en kommentar

Want to join the discussion?
Feel free to contribute!

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *