Robots.txt Tester

Comprueba si un user-agent concreto (p. ej. Googlebot) puede acceder a una página analizando las reglas del archivo robots.txt. Útil para entender exclusiones de indexación antes de publicar.

Cómo usarlo: Especifica la URL a probar y el user-agent. La herramienta mostrará la regla Allow/Disallow aplicable y el motivo del resultado.

Podríamos aparecer en los registros de los sitios de destino; evita URL internas o con credenciales.