Hvad er crawling?
Crawling er grundlaget for hele søgemaskinen.
Google sender små computerprogrammer kaldet Googlebots rundt på nettet. Disse bots følger hyperlinks fra side til side, læser indholdet, og rapporterer tilbage til Google hvad de fandt. De crawler milliarder af sider dagligt.
Processen ser sådan ud:
- Crawl — Googlebot læser siden og finder links
- Index — Google gemmer siden i sin database
- Rank — Google afgør hvor siden skal placeres i søgeresultaterne
Alle tre skal være på plads for at en side kan dukke op i søgeresultaterne. Og det hele starter med crawling.
Crawling vs. Indexering — Det vigtige skel
Folk blander disse konstant. De er ikke det samme.
Crawled betyder Google har læst siden. Indexed betyder Google har gemt den i sin database. Ranked betyder den vises i søgeresultaterne.
Googlebot kan crawle en side uden at indexere den. Hvorfor? Fordi siden måske:
- Er en duplikat af noget Google allerede har
- Har for lidt indhold (thin content)
- Har en noindex tag (du sagde "lad være med at indexere mig")
- Returnerer en soft 404 (siden går ud på at være fundet, men Google ser det som ikke-eksistent)
- Er blokeret af robots.txt
Du kan have en site med 1.000 crawlede sider og kun 500 indexerede. Der ligger 500 sider hvor Google læste dem, men sagde "nej, vi indexerer ikke det her."
For at Google skal kunne danne rang over din side, skal både crawling og indexering fungere.
Hvad kan blokere crawling?
robots.txt disallow
Hvis din robots.txt siger Disallow: /, lytter Google. Den crawler intet. Check din robots.txt på /robots.txt på dit site. Hvis det er kaput, er hele dit site offline for Googlebot.
Crawl budget udpiftelse Store sites (Amazon, Wikipedia) får en crawl budget — Google crawler kun X antal sider per dag. Hvis dit site har 10.000 sider og der er 100 nye hver dag, crawler Google måske aldrig alt. Fix: gør dit site hurtigt, fjern duplicate content, og brug internal linking for at prioritere vigtige sider.
Langt server response time Hvis din server er langsom, crawler Googlebot færre sider per dag (bevarende ressourcer). Hvis den er > 3 sekunder per request, giver Google næsten op. Fix: forbedre hosting, slet dårlig kode, brug CDN.
JavaScript-renderet indhold som bots ikke kan læse Hvis hele dit site er JavaScript-baseret og indholdet først renderes i browseren, kan Googlebot have svært ved at se det. Fix: brug server-side rendering eller pre-rendering.
Orphan pages En side uden interne links fra andre dele af dit site. Google kan finde den hvis du submitter den via Search Console, men ellers crawler den aldrig fordi der er ingen sti hen til den. Fix: link til den fra andre sider.
Crawl budget — er det vigtig for dig?
De fleste virksomheder: nej.
Hvis dit site er under 1.000 sider, bryder du aldrig dit crawl budget. Google crawler hele din site ugentligt uden problemer.
Hvis dit site er 10.000+ sider, begynder crawl budget at være relevant. Hvis du har 50.000 pages, er det kritisk.
Hvad kan du gøre?
- Fjern duplicate content — fjern filter pages, duplicate kategorier, prints-versioner
- Bloker ubrugelige sider — search result pages, admin pages, login pages — al det der ikke skal rankes
- Forbedrer site speed — Googlebot kan crawle mere hvis serveren er hurtig
- Prioriter via internal linking — link ofte til dine vigtige sider så Google crawler dem oftere
- Brug robots.txt smart — disallow pages der ikke skal crawles
Sådan tjekker du om Google kan crawle dit site
Værktøj 1: Google Search Console URL Inspection
- Gå til Google Search Console (console.google.com)
- Vælg dit property
- Søg efter enhver URL fra dit site
- Klik på siden
- Se "Googlebot could access" — ja eller nej
Hvis det siger "nej", Google kan ikke crawle siden. Så kan den ikke indexeres eller rankes.
Værktøj 2: Fetch as Googlebot
I Search Console, gå til "URL Inspection" og klik "Test live URL". Google crawler siden og viser dig hvad den så — indhold, javascript, billeder, alt.
Hvis siden ser helt tom ud = JavaScript problem. Hvis den ser normal ud = OK.
Værktøj 3: Coverage Report
Search Console → Coverage viser dig:
- Indexerede sider
- Crawled, not indexed sider (ikke indekseret men google kunne crawle)
- Errors (Google kunne ikke crawle)
- Excluded sider (noindex, robots.txt disallowed, etc.)
Hvis du har mange "Crawled, not indexed" — det er et signal. Google læser siden men indexerer den ikke. Hvorfor? Tjek error messages eller duplicate content.
Tre konkrete fejl der ødelægger crawling
Fejl 1: Kaput robots.txt En mistyknelse i robots.txt blokerer hele dit site. Check den månedligt eller setup alerts hvis den ændres.
Fejl 2: Blokkering af crawling i .htaccess eller firewall Nogen gange bliver sites blocksåret mod Google uden intention — Check IP ranges af Google Cloud og tilad dem.
Fejl 3: Ignorerer crawl fejl Search Console viser fejl — 404s, timeouts, redirects. Hvis du ignorerer dem i måneder, taber Google tillid til dit site og crawler mindre.
Relaterede begreber
SEO | Organisk trafik | Backlinks | Topic cluster | Title tag
