- Definition
- Robots.txt er en simpel tekstfil placeret i roden af din hjemmeside (fx https://example.dk/robots.txt) der følger "Robots Exclusion Protocol". Den fortæller søgemaskine-crawlere — og andre bots — hvilke sider og mapper de har tilladelse til at crawle og indeksere. Det er en vejledning, ikke en teknisk blokering: velordnede bots respekterer den, mens ondsindede bots kan ignorere den.
Også kaldet: Robots-fil, Crawler-regler, robots exclusion file
Sådan fungerer robots.txt
En robots.txt-fil indeholder "direktiver" rettet til specifikke "user-agents" (crawlernavne). De to vigtigste direktiver er:
- Allow: Crawleren må besøge denne sti
- Disallow: Crawleren må ikke besøge denne sti
Filen peger typisk også til din sitemap med: Sitemap: https://example.dk/sitemap.xml
Vigtigt at forstå: Disallow i robots.txt forhindrer Google i at crawle en side — men det forhindrer ikke nødvendigvis indeksering. Hvis andre hjemmesider linker til en disallowed side, kan Google stadig indeksere URL'en (uden at kende sidens indhold). Vil du forhindre indeksering, skal du bruge noindex meta-tag eller X-Robots-Tag header.
Eksempel fra praksis
En typisk robots.txt for en webshop:
User-agent: *
Allow: /
# Bloker admin og interne sider
Disallow: /admin/
Disallow: /kurv/
Disallow: /checkout/
Disallow: /konto/
Disallow: /intern/
# Bloker filtrerede URL'er (duplikeret indhold)
Disallow: /*?sort=
Disallow: /*?filter=
# Tillad Googlebot adgang til CSS og JS (vigtigt!)
Allow: /*.css
Allow: /*.js
Sitemap: https://webshop.dk/sitemap.xmlEn klassisk fejl er at blokere CSS- og JavaScript-filer i robots.txt. Det forhindrer Google i at rendere din side korrekt og kan skade din rangering markant — Google ser ikke den visuelle side, kun råt HTML uden styling.
Hvornår bruger du robots.txt?
Robots.txt-konfiguration er relevant når du:
- Vil forhindre crawl af admin-, login- og checkoutsider
- Har duplikeret indhold fra URL-parametre (sortering, filtrering, sideopdeling) du vil holde ude af indekset
- Vil spare dit crawl budget ved at undlade indeksering af tyndt eller irrelevant indhold
- Lancerer en ny hjemmeside og midlertidigt vil forhindre indeksering under opbygning (Disallow: /)
Tjek din robots.txt regelmæssigt i Google Search Console under "Robots.txt tester" for at verificere at vigtige sider ikke er blokeret ved en fejl.
Er din robots.txt korrekt konfigureret?
En forkert robots.txt kan blokere Google fra at crawle vigtige sider og koste dig organisk trafik. Gezar gennemgår din tekniske SEO-opsætning og sikrer at alt er korrekt — book en gratis analyse.
Få en gratis teknisk SEO-analyse