Protocolo de Exclusión de Robots
Robots.txt sigue el Protocolo de Exclusión de Robots (REP), un estándar desarrollado en 1994 para proporcionar a los propietarios de sitios web una forma de comunicarse con los rastreadores web. El archivo debe colocarse en el directorio raíz y nombrarse exactamente 'robots.txt'. Utiliza una sintaxis simple con directivas como User-agent, Disallow, Allow, Sitemap y Crawl-delay para controlar el comportamiento del rastreador.