Протокол Исключения Роботов
Robots.txt следует протоколу исключения роботов (REP), стандарту, разработанному в 1994 году, чтобы предоставить владельцам веб-сайтов способ общения с веб-краулерами. Файл должен быть размещен в корневом каталоге и назван точно 'robots.txt'. Он использует простой синтаксис с директивами, такими как User-agent, Disallow, Allow, Sitemap и Crawl-delay, для контроля поведения краулеров.