bostic.aiSearch intelligence
Finde deinen Vorsprung ↗
← Alle kostenlosen Tools
BOSTIC / KOSTENLOSE TOOLS

Robots.txt-Check

Prüfe robots.txt und teste einen Pfad für Googlebot, Bingbot oder alle Crawler. Sieh die angewandte Regel.

Ohne RegistrierungKeine KI-Credits

Bis zu 64 KB und 2.000 Zeilen.

Deine Ergebnisse erscheinen hier

Beginne mit einer URL. Wir zeigen, was wir finden und was es bedeutet.

Öffentliche URLs werden auf Bostic-Servern geprüft. Ergebnisse können 5 Minuten wiederverwendet werden. Keine privaten oder signierten URLs eingeben.

Umfang des Checks

Von der Frage zum nächsten Schritt.

Vorschau üblicher Allow/Disallow-Regeln. Robots.txt steuert Crawling, nicht zuverlässig die Indexierung. Erweiterte Kodierung und Crawler-Verhalten können abweichen.

Beispielergebnis
User-agent: *
Disallow: /private/
Pfad: /private/prices
Regelvorschau: Crawling gesperrt, kein Nachweis einer Entfernung aus der Suche.

Illustratives Beispiel, keine Prüfung deiner Website. Nutze das Tool oben für dein eigenes Ergebnis.

BOSTIC.AI

Vom Seitencheck zur Aufgabenliste.

Erstelle ein Projekt, bestätige deine Website und prüfe gespeicherte Audit-Befunde und betroffene URLs. Ein Seitencheck beschreibt nicht die gesamte Website.