- robots.txt là gì?
- Tệp văn bản tại domain/robots.txt hướng dẫn crawler phần nào được phép truy cập. Chứa các chỉ thị User-agent, Disallow, Allow, Sitemap, Crawl-delay. Mục đích: điều phối crawl, giảm trùng lặp, hạn chế tải server. Không phải phương thức bảo mật.
- robots.txt hỗ trợ SEO thế nào?
- Giúp ưu tiên ngân sách crawl, chặn trang ít giá trị, giảm tài nguyên cho trang nội bộ, khai báo sitemap để index nhanh và tránh nội dung trùng lặp. Luôn cho phép CSS/JS để kết quả render chính xác.
- Khác biệt giữa Disallow và Allow?
- Disallow chặn đường dẫn, Allow tạo ngoại lệ cho đường dẫn con. Ưu tiên: quy tắc cụ thể hơn thắng. Wildcard * đại diện mọi ký tự, $ đánh dấu cuối chuỗi.
- Bot có luôn tuân thủ robots.txt không?
- Các bot lớn (Google, Bing...) tuân thủ, nhưng crawler xấu/spam có thể bỏ qua. robots.txt là giao thức thiện chí, không thay thế cho bảo mật hoặc xác thực.
- Kiểm tra robots.txt như thế nào?
- Dùng Google Tìm kiếm Console (Robots Testing Tool), Bing Webmaster, validator trực tuyến, truy cập trực tiếp domain/robots.txt và theo dõi log máy chủ để chắc chắn bot hoạt động đúng.