Guía práctica

Generador Robots.txt — Guía de uso y principios técnicos

Crear visualmente archivos robots.txt con plantillas de motores de búsqueda y reglas de rastreador

Abrir herramienta

Resumen

El generador de robots.txt es una herramienta para crear archivos robots.txt que controlan cómo los rastreadores de motores de búsqueda rastrean su sitio web. robots.txt es un archivo de texto plano colocado en la raíz del sitio web que proporciona directivas a rastreadores. Funciones principales: Múltiples reglas User-agent (Googlebot, Bingbot, todos los bots), Directivas Disallow/Allow (controlar acceso a rutas), Configuración Crawl-delay (limitar tasa de rastreo), Integración Sitemap (URLs de sitemap XML), Soporte de comodines (*, $), Validación de sintaxis (verificación de errores), Plantillas (escenarios comunes), Vista previa en tiempo real. Directivas clave: User-agent (especificar bot: Googlebot, Bingbot, *), Disallow (bloquear rutas: /admin/, /Privado/), Allow (excepciones: /Público/), Sitemap (URL de sitemap: https://example.com/sitemap.xml), Crawl-delay (retraso en segundos). Casos de uso: Optimización SEO (gestión de presupuesto de rastreo), Protección de contenido sensible (páginas de administración, datos privados), Prevención de duplicados (resultados de búsqueda, páginas de filtro), Reducción de carga del servidor (limitar bots agresivos), Envío de sitemap (indexación más rápida), Ocultar sitios de desarrollo (entornos de staging). Mejores prácticas: No bloquear contenido importante (pérdida SEO), Permitir CSS/JS (renderizado), Incluir sitemap (mejorar indexación), Probar sintaxis (Google Search Console), Mantener simple (evitar reglas excesivas), Revisar periódicamente (actualizar cambios). Errores comunes: Bloquear todo contenido (Disallow: /), Bloquear CSS/JS (problemas de renderizado), Usar robots.txt para seguridad (usar autenticación), Errores tipográficos (errores de sintaxis), Falta de sitemap. Cómo funciona: 1) Rastreador visita sitio, 2) Lee robots.txt primero (yoursite.com/robots.txt), 3) Analiza reglas (coincide User-agent), 4) Rastrea solo rutas permitidas, 5) Respeta directivas (bots éticos). Nota: robots.txt no es mecanismo de seguridad y es públicamente legible. Usar autenticación para protección real. Esta herramienta genera robots.txt localmente en navegador sin subir datos.

Conceptos clave

Protocolo de Exclusión de Robots

Robots.txt sigue el Protocolo de Exclusión de Robots (REP), un estándar desarrollado en 1994 para proporcionar a los propietarios de sitios web una forma de comunicarse con los rastreadores web. El archivo debe colocarse en el directorio raíz y nombrarse exactamente 'robots.txt'. Utiliza una sintaxis simple con directivas como User-agent, Disallow, Allow, Sitemap y Crawl-delay para controlar el comportamiento del rastreador.

Directiva User-agent

La directiva User-agent especifica a qué rastreador se aplican las reglas. Usar '*' aplica reglas a todos los rastreadores. Puede dirigirse a rastreadores específicos como Googlebot, Bingbot o Baiduspider. Cada sección User-agent puede tener múltiples directivas Allow y Disallow para definir rutas accesibles y bloqueadas.

Reglas Allow y Disallow

La directiva Disallow especifica rutas a las que los rastreadores no deben acceder, mientras que la directiva Allow (no soportada por todos los rastreadores) permite el acceso a rutas específicas dentro de un área denegada. Las rutas distinguen entre mayúsculas y minúsculas y soportan comodines (*) y coincidencia de fin de ruta ($). Por ejemplo, Disallow: /*.pdf$ bloquea todos los archivos PDF.

Declaración de Sitemap

La directiva Sitemap indica a los motores de búsqueda dónde encontrar sus archivos de sitemap XML. Se permiten múltiples entradas Sitemap. Esto ayuda a los motores de búsqueda a descubrir e indexar su contenido de manera más eficiente. Las URLs de Sitemap deben ser URLs absolutas incluyendo el protocolo (http:// o https://).

Características

Múltiples User-Agents

Configurar reglas para diferentes rastreadores

Plantillas de Reglas

Plantillas predefinidas para escenarios comunes

Validación de Sintaxis

Validar sintaxis de robots.txt

Vista Previa y Exportar

Vista previa y descargar robots.txt

Preguntas Frecuentes

¿Qué es robots.txt?

robots.txt es un archivo que indica a rastreadores web (motores de búsqueda) qué páginas pueden o no pueden rastrear en su sitio.

¿Dónde colocar robots.txt?

Debe colocarse en directorio raíz del sitio web: https://tudominio.com/robots.txt. Los rastreadores lo buscan automáticamente allí.

¿robots.txt bloquea acceso?

No. robots.txt son directrices, no aplicación. Los rastreadores bien comportados las respetan, pero los actores maliciosos pueden ignorarlas. Usar autenticación apropiada para contenido privado.

Documentación relacionada

Generador Robots.txt

Abre la herramienta para probar estas funciones.

Abrir herramienta