Generador robots.txt

Definir un crawler y sus rutas

Indica un User-agent como * y escribe una ruta por línea, por ejemplo /admin y /borradores. El resultado agrupa las líneas Disallow para revisar exactamente qué se está solicitando.

Revisar el alcance

Una ruta demasiado amplia puede impedir el rastreo de recursos públicos. Comprueba el archivo generado antes de copiarlo y añade la referencia del sitemap en la ubicación donde realmente se publicará.

Preferencia, no control de acceso

robots.txt comunica una preferencia a rastreadores que decidan respetarla. No bloquea usuarios, no protege una carpeta privada y no sustituye autenticación ni cabeceras del servidor.

Publicar con contexto

El generador no consulta tu sitio ni confirma rutas. Prueba el archivo en la raíz pública y revisa el comportamiento del crawler con las herramientas de tu buscador.

Para dejar pública una guía y pedir que no se rastree el panel, usa /admin y /borradores con User-agent: *. La salida añade dos líneas Disallow. Interpreta el archivo como una indicación para crawlers respetuosos: una sesión privada debe seguir protegida con autenticación y reglas del servidor.

Fuentes técnicas: documentación primaria 1 · documentación primaria 2. Estas referencias describen el estándar o la API; la interfaz y sus validaciones son propias de OCC Tools.

Herramientas relacionadas

Para continuar con el mismo flujo puedes consultar generador meta descriptions, generador slug, generador qr, formateador json. Cada página resuelve una operación distinta y no comparte tus entradas automáticamente.

Preguntas frecuentes

¿Cómo creo una regla Disallow para una ruta?
Crea reglas User-agent, Allow, Disallow y Sitemap para revisar un robots.txt antes de publicarlo.

¿Para qué sirve User-agent en el resultado?
La operación se realiza en el navegador con la entrada que proporcionas y no necesita enviar el contenido a una API.

¿robots.txt protege una ruta privada?
La página muestra un mensaje de validación y señala el dato que debes corregir antes de volver a ejecutar.

¿Qué pasa si dejo User-agent vacío?
El resultado se puede copiar o descargar cuando el formato de esa herramienta ofrece esa acción.

¿Puedo copiar el archivo robots.txt?
La salida tiene el alcance indicado en esta página; conviene abrirla o revisarla en el programa donde vayas a utilizarla.

¿Qué debo comprobar antes de publicarlo?
Los límites dependen del formato y del navegador; revisa el resultado final antes de compartirlo o publicarlo.