Generador de robots.txt

Cómo hacerlo

1. 1
   Rellena los campos

   Escribe tus números o elige las opciones que necesites.

2. 2
   Mira el resultado

   La respuesta se actualiza al instante cuando cambias un valor.

3. 3
   Úsalo

   Copia el resultado o anótalo. No se envía nada a ningún sitio.

Sobre esta herramienta

Choose the crawler, list the paths you do not want crawled and any paths to allow, and add your sitemap address. Copy the result into a file named robots.txt in the root of your site. Remember that robots.txt is a request to crawlers, not a way to hide private pages.

When to use it

Create a robots.txt file for your website, with sitemap and rules.

Tips

Do not block pages you want indexed. Test the file.

Privacy

Everything runs in your browser, so your data is not uploaded or stored.

Ejemplo práctico

With the boxes at their starting values (Crawler (user-agent): All crawlers (*); Allow everything when no paths are listed: Yes; Paths to block (one per line): /admin /private/), the tool shows: User-agent: * Disallow: /admin Disallow: /private/. Change any box to see your own numbers. The result updates as you type, and nothing leaves your browser.

Consejos para mejores resultados

Revisa cada campo antes de fiarte de un resultado, porque un dígito equivocado cambia toda la respuesta. Usa las cifras exactas de tu nómina, factura, certificado o contrato y anota la fecha en que calculaste. Las tarifas, umbrales y normas cambian de vez en cuando, así que en impuestos, tasas y asuntos legales trata el resultado como una estimación y confírmalo con la fuente oficial indicada en esta página. Puedes probar todos los escenarios que quieras; no se guarda ni se envía nada, y al recargar la página se vacían los campos.