Protokol Eksklusif Robot
Robots.txt mengikuti Robots Exclusion Protocol (REP), sebuah standar yang dikembangkan pada tahun 1994 untuk memberi pemilik situs web cara berkomunikasi dengan perayap web. File tersebut harus ditempatkan di direktori root dan diberi nama persis 'robots.txt'. Ini menggunakan sintaks sederhana dengan arahan seperti Agen-pengguna, Larang, Izinkan, Peta Situs, dan Penundaan Perayapan untuk mengontrol perilaku perayap.