Robots.txt-generator

Zo doe je het

1. 1
   Vul de velden in

   Typ je getallen of kies de opties die je nodig hebt.

2. 2
   Bekijk het resultaat

   Het antwoord wordt meteen bijgewerkt als je een waarde wijzigt.

3. 3
   Gebruik het

   Kopieer het resultaat of noteer het. Er wordt niets ergens naartoe gestuurd.

About this tool

Choose the crawler, list the paths you do not want crawled and any paths to allow, and add your sitemap address. Copy the result into a file named robots.txt in the root of your site. Remember that robots.txt is a request to crawlers, not a way to hide private pages.

When to use it

Create a robots.txt file for your website, with sitemap and rules.

Tips

Do not block pages you want indexed. Test the file.

Privacy

Everything runs in your browser, so your data is not uploaded or stored.

Uitgewerkt voorbeeld

With the boxes at their starting values (Crawler (user-agent): All crawlers (*); Allow everything when no paths are listed: Yes; Paths to block (one per line): /admin /private/), the tool shows: User-agent: * Disallow: /admin Disallow: /private/. Change any box to see your own numbers. The result updates as you type, and nothing leaves your browser.

Tips voor het beste resultaat

Controleer elk veld voordat je een resultaat vertrouwt, want één verkeerd cijfer verandert het hele antwoord. Gebruik de exacte getallen van een loonstrook, factuur, certificaat of contract en noteer de datum waarop je rekende. Tarieven, drempels en regels veranderen af en toe, dus beschouw het resultaat voor belasting, kosten en juridische zaken als een schatting en controleer het met de officiële bron die op deze pagina staat. Je kunt zoveel scenario's proberen als je wilt; er wordt niets opgeslagen of verzonden en de pagina vernieuwen wist de velden.