Protocole d'Exclusion des Robots
Robots.txt suit le protocole d'exclusion des robots (REP), une norme développée en 1994 pour fournir aux propriétaires de sites Web un moyen de communiquer avec les crawlers Web. Le fichier doit être placé dans le répertoire racine et nommé exactement 'robots.txt'. Il utilise une syntaxe Simple avec des directives comme Utilisateur-agent, Disallow, Allow, Sitemap et Crawl-delay pour contrôler le comportement des crawlers.