Probador de robots.txt
Probador de robots.txt te permite lee reglas de robots.txt, declaraciones de sitemap y grupos de user-agent. Prueba hasta 20 rutas para ver qué regla permite o bloquea cada URL.
- check_circleSolo páginas públicas
- check_circle1 crédito global
- check_circleSin configuración
Solo páginas públicas
Ejecutar Probador de robots.txt
- 01Añade el origen
- 02Define las opciones
- 03Revisa el resultado
Analiza contenido público del que eres titular o tienes permiso para inspeccionar, y respeta las condiciones del sitio de origen. Las ejecuciones fallidas o canceladas devuelven los créditos reservados.
Completado
Resultados
Qué hace Probador de robots.txt
El probador obtiene el robots público de un sitio y separa grupos de user-agent, reglas allow y disallow, y declaraciones de sitemap. Eliges un agente y pruebas hasta 20 rutas contra las reglas.
Por cada ruta muestra la directiva coincidente y si permite el rastreo. Así depuras patrones que se solapan, aunque no ordena a los buscadores re-rastrear ni cambia cómo cada rastreador interpreta extensiones no estándar.
Funciones de Probador de robots.txt
Campos útiles desde el principio
Revisa grupos de user-agent, reglas allow/disallow, declaraciones de sitemap, prueba de rutas en un resultado organizado.
Exporta como CSV, XLSX, JSON
Formatos disponibles: CSV, XLSX, JSON.
Dónde encaja Probador de robots.txt
Ideal para
- checkRevisar una regla de staging antes de producción
- checkDepurar una sección bloqueada por error
- checkRevisar sitemaps declarados en robots.txt
- checkComparar el comportamiento por user-agent
Qué obtienes
- checkGrupos de user-agent
- checkReglas allow/disallow
- checkDeclaraciones de sitemap
- checkPrueba de rutas
Cómo usar Probador de robots.txt
- 01
Escribe la dirección del sitio
El probador localiza y obtiene el robots.txt público de ese dominio.
- 02
Elige agente y rutas
Selecciona un user-agent y añade hasta 20 rutas a probar.
- 03
Revisa las reglas coincidentes
Ve qué directiva decidió cada permiso o bloqueo y actualiza el archivo si hace falta.
Antes de ejecutar Probador de robots.txt
- infoRobots.txt controla el rastreo, no garantiza la indexación.
- infoEl contenido privado necesita autenticación y controles de acceso.
- infoLas extensiones propias de cada rastreador pueden comportarse distinto.
Preguntas sobre Probador de robots.txt
¿Falta algo? Pregúntanos.
¿Robots.txt mantiene privada una página?
¿Cuántas rutas puedo probar a la vez?
¿El probador cambia mi robots.txt?
Lista para usarse
Ejecuta Probador de robots.txt
Examina directivas de rastreo, declaraciones de sitemaps y prueba rutas específicas para un agente de usuario seleccionado.
Abrir la herramienta