Robots.txt

← TERUG

Een robots.txt bestand is een tekstbestand met daarin richtlijnen voor crawlers. Er wordt in aangegeven welke pagina’s wel en welke pagina’s niet gecrawld moeten worden. 

Door een robots.txt bestand toe te voegen aan je website leidt je crawlers van bijvoorbeeld Google gemakkelijker naar de juiste pagina’s en hou je ze weg bij overbodige pagina’s zoals bedankpagina’s na een aankoop van een klant. 

Een robots.txt bestand heeft op deze manier voordelen op SEO-gebied. Niet alleen wordt de website efficiënter gecrawld, het is ook mogelijk om crawlers op deze manier direct naar een sitemap te dirigeren. Hierdoor kan de crawler direct een volledig en relevant overzicht zien van de website en kan deze beter en sneller geïndexeerd worden. 

Meer weten over SEO? Lees onze blog Wat is SEO?

Gratis Adwords consult 

vraag hem nu aan