Comprobador de robots.txt
Inspecciona robots.txt y comprueba una ruta para Googlebot, Bingbot o todos los robots. Identifica la regla aplicada.
Hasta 64 KB y 2.000 líneas.
Tus resultados aparecerán aquí
Empieza con una URL. Verás qué encontramos y qué significa.
Las URL públicas se comprueban en servidores de Bostic y los resultados pueden reutilizarse durante 5 minutos. No envíes URL privadas ni firmadas.
De una pregunta al siguiente paso.
Vista de reglas Allow/Disallow comunes. Robots.txt controla el rastreo, no garantiza la indexación. La codificación avanzada y el comportamiento de cada robot pueden variar.
User-agent: * Disallow: /private/ Ruta: /private/prices Vista de reglas: rastreo bloqueado, no prueba de eliminación de la búsqueda.
Ejemplo ilustrativo, no una comprobación de tu sitio. Usa la herramienta de arriba para obtener tu resultado.
Convierte una revisión en una lista de mejoras.
Crea un proyecto, verifica tu sitio y revisa los hallazgos guardados y las URL afectadas. Revisar una página no describe todo el sitio.