Robots.txt Tester

Überprüft, ob ein bestimmter User-Agent (z. B. Googlebot) eine Seite laut robots.txt aufrufen darf. Nützlich, um Indexierungssperren vor dem Go-live zu erkennen.

So funktioniert’s: Teste die gewünschte URL mit dem passenden User-Agent. Das Tool zeigt die geltende Allow/Disallow-Regel und den Grund für das Ergebnis.

Wir könnten in den Logs der Zielseiten auftauchen; vermeide interne URLs oder solche mit Zugangsdaten.