Wat is een robots.txt bestand?

Geplaatst op 7 november 2013 door Chantal in Uncategorized

Waarom robots.txt?

Met een robots.txt bestand beperkt u de toegang tot uw webpagina’s voor zoekmachinerobots die uw site crawlen. Voordat een zoekmachinerobot of Google robot een site bezoekt, gaat deze eerst langs het robots.txt bestand. Hierin wordt aangegeven welke pagina’s niet gecrawld kunnen worden.

Hoe maak ik een robots.txt bestand?

Het robots.txt bestand wordt als volgt geplaatst: wwww.uwdomeinnaam.nl/robots.txt. Zoals de extensie (.txt) al zegt, is het een tekstbestand. Met de term “Disallow:” wordt aangegeven welke pagina’s de zoekmachinerobot niet mag crawlen. Hierbij kunt u denken aan inlogpagina’s en bepaalde verwijderde pagina’s. Tevens kunt u aangeven aan de zoekmachinerobot waar de XML sitemap te vinden is. Ons robots.txt bestand ziet er op dit moment als volgt uit:

Robots.txt WordPress plugin

Voor onze website maken wij gebruik van WordPress als CMS. WordPress is het meestgebruikte CMS wereldwijd. Het voordeel van WordPress is, dat u enkel een robots.txt plugin hoeft te installeren en het robots.txt bestand wordt automatisch gegenereerd en geplaatst.

Meer informatie?

Vul onderstaande formulier in of bel ons op +31 (0)76 303 58 74.

  • Dit veld is bedoeld voor validatiedoeleinden en moet niet worden gewijzigd.

Lees meer