Crawlen/Indexeren

← TERUG

Crawlen wordt gedaan door zoekmachinesoftware, ook wel ‘bots’ genoemd om de inhoud van een website in kaart te brengen, ofwel: te indexeren.

De bots kijken naar verschillende factoren. Ten eerste naar een lijst waarin alle sitemaps en webadressen te vinden zijn die zijn opgesteld door eerdere crawls. Vanuit die lijst zoeken de bots naar alle links en backlinks die naar een bepaalde webpagina leiden. Er wordt hierbij gekeken naar veranderingen en gelet op broken links. Een website beheerder kan de bots efficiënt de weg wijzen op zijn of haar website door middel van een robots.txt. bestand.

Door het crawlen en het indexeren van websites en -pagina’s kan de zoekmachine bepalen welke websites het meest geschikt en relevant zijn voor bepaalde zoekopdrachten. Het optimaliseren van een website voor crawlers is een aparte tak van online marketing, namelijk Search Engine Optimization. Lees meer over SEO in onze blog, Wat is SEO? 

Gratis Adwords consult 

vraag hem nu aan