Hướng dẫn thực tế

Robots.txt Generator — Hướng dẫn sử dụng và nguyên lý kỹ thuật

Tạo robots.txt trực quan với mẫu tìm kiếm phổ biến và bộ quy tắc crawler

Mở công cụ

Tổng quan

Robots.txt Generator giúp tạo Tệp robots.txt kiểm soát cách crawler truy cập website. Tệp phải đặt tại thư mục gốc (example.com/robots.txt) và gồm các chỉ thị: User-agent (định danh bot), Disallow/Allow (chặn/cho phép đường dẫn), Sitemap (khai báo XML sitemap), Crawl-delay (giới hạn tốc độ). Ứng dụng: tối ưu crawl budget, bảo vệ trang nhạy cảm, tránh nội dung trùng lặp, giảm tải server và khai báo sitemap để index nhanh. Lưu ý: robots.txt không phải cơ chế bảo mật vì ai cũng xem được, hãy dùng xác thực nếu cần ẩn nội dung. Công cụ tạo Tệp hoàn toàn trên trình duyệt, không Tải lên dữ liệu.

Khái niệm chính

Giao thức Robots Exclusion

REP ra đời năm 1994 cho phép quản trị viên hướng dẫn bot. Tệp phải đặt tại root, tên đúng "robots.txt" và dùng các chỉ thị User-agent, Disallow, Allow, Sitemap, Crawl-delay.

Chỉ thị User-Agent

Xác định bot áp dụng (Googlebot, Bingbot, *...). Mỗi khối User-agent có thể có nhiều dòng Allow/Disallow để kiểm soát từng đường dẫn.

Allow & Disallow

Disallow chặn đường dẫn, Allow cho phép ngoại lệ trong vùng bị chặn. Hỗ trợ wildcard * và ký hiệu kết thúc $. Ví dụ: Disallow: /*.pdf$ chặn mọi Tệp PDF.

Khai báo Sitemap

Khai báo URL sitemap (dạng tuyệt đối) để bot lập chỉ mục hiệu quả hơn. Có thể khai báo nhiều sitemap cho site lớn.

Tính năng

Quy tắc theo định danh trình duyệt

Thiết lập riêng cho Googlebot, Bingbot, Baiduspider hoặc tất cả bot

Mẫu cấu hình

Mẫu sẵn cho SPA, Tiếp theo.js, WordPress, site tĩnh...

Kiểm tra cú pháp

Tự động phát hiện lỗi cú pháp, đường dẫn và từ khóa

Xem trước & xuất Tệp

Xem realtime, sao chép hoặc tải robots.txt chỉ với một cú nhấp

Câu hỏi thường gặp

robots.txt là gì?

Tệp văn bản tại domain/robots.txt hướng dẫn crawler phần nào được phép truy cập. Chứa các chỉ thị User-agent, Disallow, Allow, Sitemap, Crawl-delay. Mục đích: điều phối crawl, giảm trùng lặp, hạn chế tải server. Không phải phương thức bảo mật.

robots.txt hỗ trợ SEO thế nào?

Giúp ưu tiên ngân sách crawl, chặn trang ít giá trị, giảm tài nguyên cho trang nội bộ, khai báo sitemap để index nhanh và tránh nội dung trùng lặp. Luôn cho phép CSS/JS để kết quả render chính xác.

Khác biệt giữa Disallow và Allow?

Disallow chặn đường dẫn, Allow tạo ngoại lệ cho đường dẫn con. Ưu tiên: quy tắc cụ thể hơn thắng. Wildcard * đại diện mọi ký tự, $ đánh dấu cuối chuỗi.

Bot có luôn tuân thủ robots.txt không?

Các bot lớn (Google, Bing...) tuân thủ, nhưng crawler xấu/spam có thể bỏ qua. robots.txt là giao thức thiện chí, không thay thế cho bảo mật hoặc xác thực.

Kiểm tra robots.txt như thế nào?

Dùng Google Tìm kiếm Console (Robots Testing Tool), Bing Webmaster, validator trực tuyến, truy cập trực tiếp domain/robots.txt và theo dõi log máy chủ để chắc chắn bot hoạt động đúng.

Tài liệu liên quan

Robots.txt Generator

Mở công cụ để trải nghiệm các tính năng này.

Mở công cụ