Giao thức Robots Exclusion
REP ra đời năm 1994 cho phép quản trị viên hướng dẫn bot. Tệp phải đặt tại root, tên đúng "robots.txt" và dùng các chỉ thị User-agent, Disallow, Allow, Sitemap, Crawl-delay.
Preparing your comprehensive developer toolkit
Hướng dẫn thực tế
Tạo robots.txt trực quan với mẫu tìm kiếm phổ biến và bộ quy tắc crawler
Robots.txt Generator giúp tạo Tệp robots.txt kiểm soát cách crawler truy cập website. Tệp phải đặt tại thư mục gốc (example.com/robots.txt) và gồm các chỉ thị: User-agent (định danh bot), Disallow/Allow (chặn/cho phép đường dẫn), Sitemap (khai báo XML sitemap), Crawl-delay (giới hạn tốc độ). Ứng dụng: tối ưu crawl budget, bảo vệ trang nhạy cảm, tránh nội dung trùng lặp, giảm tải server và khai báo sitemap để index nhanh. Lưu ý: robots.txt không phải cơ chế bảo mật vì ai cũng xem được, hãy dùng xác thực nếu cần ẩn nội dung. Công cụ tạo Tệp hoàn toàn trên trình duyệt, không Tải lên dữ liệu.
REP ra đời năm 1994 cho phép quản trị viên hướng dẫn bot. Tệp phải đặt tại root, tên đúng "robots.txt" và dùng các chỉ thị User-agent, Disallow, Allow, Sitemap, Crawl-delay.
Xác định bot áp dụng (Googlebot, Bingbot, *...). Mỗi khối User-agent có thể có nhiều dòng Allow/Disallow để kiểm soát từng đường dẫn.
Disallow chặn đường dẫn, Allow cho phép ngoại lệ trong vùng bị chặn. Hỗ trợ wildcard * và ký hiệu kết thúc $. Ví dụ: Disallow: /*.pdf$ chặn mọi Tệp PDF.
Khai báo URL sitemap (dạng tuyệt đối) để bot lập chỉ mục hiệu quả hơn. Có thể khai báo nhiều sitemap cho site lớn.
Thiết lập riêng cho Googlebot, Bingbot, Baiduspider hoặc tất cả bot
Mẫu sẵn cho SPA, Tiếp theo.js, WordPress, site tĩnh...
Tự động phát hiện lỗi cú pháp, đường dẫn và từ khóa
Xem realtime, sao chép hoặc tải robots.txt chỉ với một cú nhấp
Tệp văn bản tại domain/robots.txt hướng dẫn crawler phần nào được phép truy cập. Chứa các chỉ thị User-agent, Disallow, Allow, Sitemap, Crawl-delay. Mục đích: điều phối crawl, giảm trùng lặp, hạn chế tải server. Không phải phương thức bảo mật.
Giúp ưu tiên ngân sách crawl, chặn trang ít giá trị, giảm tài nguyên cho trang nội bộ, khai báo sitemap để index nhanh và tránh nội dung trùng lặp. Luôn cho phép CSS/JS để kết quả render chính xác.
Disallow chặn đường dẫn, Allow tạo ngoại lệ cho đường dẫn con. Ưu tiên: quy tắc cụ thể hơn thắng. Wildcard * đại diện mọi ký tự, $ đánh dấu cuối chuỗi.
Các bot lớn (Google, Bing...) tuân thủ, nhưng crawler xấu/spam có thể bỏ qua. robots.txt là giao thức thiện chí, không thay thế cho bảo mật hoặc xác thực.
Dùng Google Tìm kiếm Console (Robots Testing Tool), Bing Webmaster, validator trực tuyến, truy cập trực tiếp domain/robots.txt và theo dõi log máy chủ để chắc chắn bot hoạt động đúng.
Tài liệu chính thức về robots.txt
Hướng dẫn robots.txt từ Google
Công cụ kiểm tra robots.txt của Google
Tạo robots.txt cho Bing
thực hành tốt nhất tối ưu robots.txt
Mở công cụ để trải nghiệm các tính năng này.