.

Wat is een robots.txt bestand?

robots.txt bestandEen robots.txt bestand? Wat is dat nou weer, hoor ik u denken. Het klinkt technisch, ict-ig en ingewikkeld. En ja, dat klopt, dat is het eigenlijk ook wel een beetje. Maar aangezien het een positieve bijdrage levert aan de SEO van uw website is het wel de moeite waard om u er even in te verdiepen en er meer over te leren

Een robots.txt bestand, wat is het?

Dit bestand is speciaal bestemd voor zoekmachines. Het vertelt de zoekmachines namelijk hoe ze een website moeten ‘lezen’. Het onderzoeken van een website door een zoekmachine wordt uitgevoerd door bots. Dit noemen we ‘crawlen’. Een robots.txt bestand vertelt de bots hoe ze dit moeten doen.

Bots kijken altijd eerst naar robots.txt

robotsDe bots zullen bij het verkennen van uw website altijd automatisch kijken of er een robots.txt bestand aanwezig is. Op basis van de richtlijnen in dit bestand zal hij uw website crawlen. Bestaat dit bestand niet voor uw site? Dan crawlen ze de hele website. Geen probleem, toch? Nee, in veel gevallen is dit inderdaad geen probleem. Maar heeft u bijvoorbeeld ‘dubbele content’, of ‘duplicate content’ op uw pagina’s staan? Dan is dat niet bevorderlijk voor de SEO van uw website. Google houdt namelijk niet van ‘duplicate content’.

Disallow opdrachten; gij zult niet…

robots stopIn een robots.txt kunt u de zoekmachine de opdracht geven om bepaalde pagina’s van uw site niet te indexeren. Op deze manier wordt de dubbele content niet herkend, en brengt het dus geen schade toe aan uw SEO. Daarnaast is het zo dat sommige pagina’s simpelweg gewoon niet interessant zijn om in de zoekresultaten te verschijnen. Bijvoorbeeld uw admin-page, of een pagina met zoekresultaten. Een gebruiker zit daar natuurlijk helemaal niet op te wachten. Door de zoekmachine de opdracht ‘disallow’ te geven, zal de aangegeven pagina niet worden gecrawld en de inhoud verschijnt dan ook niet in de zoekresultaten. Op deze manier kun je bepaalde delen van je website; mappen, pdf-bestanden, foto’s of hele pagina’s afschermen voor de zoekmachine.

Allow opdrachten; gij zult wel…

Het tegenovergestelde kan ook. De bots de opdracht geven om bepaalde delen van uw site juist wel te crawlen. Nu is het zo dat de bots automatisch alles crawlen, tenzij ze de opdrachten hebben gekregen om iets niet mee te nemen. Hier hoef je de bots dus geen toestemming voor te geven. Maar stel nou dat u een bepaald deel in een map wel wilt laten crawlen, maar de rest niet. Dan kunt u dit via het bestand aangeven. De bots weten dan precies wat ze wel en wat ze niet mogen crawlen. Een soort routekaart zeg maar. En nu we het over routekaarten hebben… U kunt in het robots.txt de bots ook verwijzen naar uw sitemap. Dit helpt de zoekmachines om uw website beter te indexeren. Het dan ook altijd slim om het robots.txt bestand wel te gebruiken.

Zelf doen, of laten doen?

Er is op internet genoeg informatie te vinden over hoe het robots.txt bestand activeert en waar u hem dan het beste kunt plaatsen. Bent u zelf heel handig met dat soort zaken? Dan is het voor u waarschijnlijk geen probleem en delegeert u de bots zonder moeite door uw website. Maar ik kan me goed voorstellen dat u het allemaal wat minder vanzelfsprekend vindt. In dat geval is het waarschijnlijk beter om uw beheerder er naar te vragen. Hij weet zich er ongetwijfeld wel raad mee.

Door |2018-10-04T20:57:21+00:0003-10-2018|Off page SEO, Vaktermen|0 Reacties

About the Author:

Simone Rozeboom
“Tekst is als een puzzel zet de juiste woorden in de goede volgorde en er ontstaat iets magisch” De creativiteit en de vrijheid, dat is wat mij zo aanspreekt in dit vak. Iets creëren en daarmee anderen inspireren, ontroeren en overtuigen. Schrijven privé Woorden hebben altijd al een belangrijke rol gespeeld in mijn leven. Op de basisschool en de op de middelbare school schreef ik vaak gedichten. En ook hield ik fanatiek dagboeken bij waarin ik al mijn belevenissen opschreef. Later schreef ik vooral gedichten voor sinterklaas... en andere belangrijke gebeurtenissen zoals geboortes, trouwerijen en overlijden. Tegenwoordig dicht ik weer vaker, gewoon voor mijn plezier. En daarnaast ben ik tussen de bedrijven door bezig met het schrijven van een thriller. Heel erg leuk om mee bezig te zijn. Waar dat heengaat....? Geen idee, wie weet.... later als ik groot ben... Schrijven zakelijk Op professioneel vlak, had ik tijdens mijn jaren als managementondersteuner ook veel te maken met taal en tekst. Zakelijke correspondentie, klachten afhandeling en ik leerde al snel dat het inderdaad de toon is, die de muziek maakt. Vooral de laatste jaren hield ik me veel bezig met communicatie via social media kanalen, en schreef ik blogs en artikelen. Ik merkte dat ik dat erg leuk vond en besloot daar meer mee te doen. Doen wat je leuk vindt! Het leven is te kort om er niet alles uit te halen wat er in zit. Soms betekent dit dat je lastige keuzes moet maken waarvan je de uitkomst niet kunt voorspellen. En ja... soms gaat het 'op de kop verkeerd'. Maar ik ben er van overtuigd dat je met een flinke portie lef, een positieve instelling en vertrouwen in jezelf, altijd op je pootjes terecht komt. Ook al is het niet altijd op de plaats die je verwachtte.... Ik creëer, redigeer en vertaal teksten, zowel online als offline. Wil je meer over mij weten? Neem dan eens kijkje op mijn website www.dichterbijtekst.nl.

Geef een reactie

1
×
Hallo!
Als er vragen zijn... Ik help je graag :-)