Robots Exclusion Protocol
Robots.txt folgt dem Robots Exclusion Protocol (REP), einem 1994 entwickelten Standard, um Site web-Besitzern eine Möglichkeit zu bieten, mit Web-Crawlern zu kommunizieren. Die Datei muss im Root-Verzeichnis platziert und genau 'robots.txt' genannt werden. Sie verwendet eine einfache Syntax mit Direktiven wie Utilisateur-agent, Disallow, Allow, Sitemap und Crawl-delay zur Steuerung des Crawler-Verhaltens.