Analizador de robots.txt
Analizador de robots.txt: resume grupos User-agent, Allow, Disallow y Sitemap en JSON legible.
Directivas que resume
El analizador lee el contenido pegado y agrupa User-agent, Allow, Disallow y Sitemap. Ignora comentarios que empiezan con # después de separar la parte útil de cada línea. La salida JSON permite ver qué reglas quedaron asociadas a cada grupo sin descargar ningún archivo externo.
Cómo se forman los grupos
Una línea User-agent inicia o amplía el bloque al que pertenecen las directivas posteriores. Allow y Disallow se guardan como rutas, mientras Sitemap se conserva como dirección declarada. Con User-agent: * y Disallow: /privado/ aparece un grupo general con esa exclusión en el resumen.
Resumen no equivale a simulación
La herramienta expone la estructura, pero no decide si una URL concreta puede rastrearse. La selección del grupo, la precedencia entre coincidencias y diferencias de implementación dependen del rastreador. Para un diagnóstico real hay que probar la URL con la documentación y las herramientas del buscador correspondiente.
Errores que quedan visibles
Una línea sin dos puntos o una directiva desconocida no se convierte mágicamente en una regla válida. Revisa mayúsculas, rutas vacías y ubicación de los comentarios. El analizador tampoco comprueba que una dirección Sitemap responda, sea XML válido o pertenezca al mismo sitio.
Lo que robots.txt no controla
Bloquear rastreo no garantiza que una URL desaparezca de un índice si otros sitios la enlazan. Tampoco protege contenido privado ni sustituye autenticación. Usa el resumen para leer reglas, no como una auditoría completa de indexación, seguridad o estado HTTP.
Allow y Disallow en una misma ruta
Una regla Allow puede describir una excepción más específica dentro de una zona excluida, pero el resultado depende de cómo el rastreador selecciona coincidencias. El resumen conserva ambas listas para que puedas verlas juntas. Prueba rutas completas en la herramienta oficial del buscador y recuerda que una barra final puede cambiar qué direcciones coinciden.
Fuentes y referencias
Continúa con estas herramientas
- Generador de eventos ICS
- Generador de RSS
- Generador de vCard
- Código de Barras
- Generador Data URI de imagen
Preguntas frecuentes
¿El analizador descarga el robots.txt de mi dominio?
No. Trabaja únicamente con el texto pegado. Esto permite revisar una propuesta, pero debes comprobar por separado el archivo que realmente sirve el dominio.
¿Cómo se tratan los comentarios al final de una línea?
Se descarta el fragmento que sigue al carácter #. La parte anterior continúa siendo la directiva analizada si mantiene nombre, dos puntos y valor.
¿Puede decirme si Google indexará una URL?
No. Resume reglas de rastreo y no evalúa señales de indexación, enlaces, etiquetas robots, canónicas ni respuestas del servidor.
¿Una ruta Disallow protege datos sensibles?
No. El archivo es público y la directiva es voluntaria para rastreadores. El contenido privado necesita controles de acceso en el servidor.
¿Qué debo revisar en las líneas Sitemap?
Confirma que sean URLs absolutas, que respondan correctamente y que el XML sea válido. El analizador solo conserva el valor declarado.
¿Una línea User-agent puede aparecer varias veces?
Sí, puede declarar agentes dentro de un grupo. La interpretación final debe contrastarse con las reglas del rastreador específico.
Herramienta de OCC Tools