Robots.txt Tester

Vérifie si un user-agent donné (ex. Googlebot) peut accéder à une page en analysant les règles du fichier robots.txt. Pratique pour comprendre les exclusions d’indexation avant la mise en ligne.

Comment l’utiliser : Indique l’URL à tester et l’user-agent. L’outil affichera la règle Allow/Disallow appliquée et la raison du résultat.

Nous pouvons apparaître dans les journaux des sites ciblés ; évite les URL internes ou contenant des identifiants.