SEO Agent OS
Đăng nhậpĐăng ký

robots.txt và sitemap.xml - cấu hình đúng, lỗi hay gặp và cách kiểm tra

Cách viết robots.txt theo chuẩn, sự khác nhau giữa chặn thu thập và chặn lập chỉ mục, cách tạo sitemap XML đúng và những gì Google bỏ qua.

Đội ngũ SEO Agent OS · Xuất bản · 3 phút đọc

robots.txt và sitemap.xml là hai tệp nhỏ nhưng ảnh hưởng trực tiếp tới việc công cụ tìm kiếm đi vào đâu và biết tới những URL nào trên website của bạn.

robots.txt làm gì?

robots.txt nằm ở thư mục gốc (ví dụ https://example.com/robots.txt) và hướng dẫn bot được thu thập (crawl) đường dẫn nào. Tệp này được chuẩn hóa trong RFC 9309. Ví dụ:

User-agent: *
Disallow: /admin
Disallow: /tai-khoan
Allow: /

Sitemap: https://example.com/sitemap.xml

Ba hiểu lầm nguy hiểm

  1. "Disallow sẽ làm trang biến mất khỏi Google." Sai. Disallow chỉ chặn thu thập. Nếu URL được liên kết từ nơi khác, nó vẫn có thể xuất hiện trong kết quả (thường không có mô tả). Muốn loại khỏi chỉ mục, dùng noindex – và trang phải được thu thập thì bot mới đọc được noindex.
  2. "robots.txt bảo vệ được khu vực riêng tư." Sai. Tệp này công khai và chỉ là lời đề nghị, bot xấu có thể bỏ qua. Khu vực riêng tư phải được bảo vệ bằng đăng nhập.
  3. "Chặn CSS/JS cho nhẹ." Không nên. Google cần các tệp này để render và hiểu bố cục trang.

Lưu ý thêm: Google không hỗ trợ chỉ thị crawl-delay.

Những gì nên chặn

  • Khu vực quản trị, tài khoản, giỏ hàng, kết quả tìm kiếm nội bộ.
  • API endpoint không dành cho người đọc.
  • URL tham số vô hạn (bộ lọc kết hợp) nếu chúng tạo ra hàng nghìn trang trùng lặp.

sitemap.xml làm gì?

Sitemap liệt kê những URL bạn muốn được lập chỉ mục, giúp bot phát hiện trang nhanh hơn, đặc biệt với website lớn hoặc trang mới ít liên kết. Ví dụ:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/kien-thuc/seo-la-gi</loc>
    <lastmod>2026-10-19</lastmod>
  </url>
</urlset>

Quy tắc cho sitemap tốt

Quy tắcLý do
Chỉ chứa URL trả 200, không noindex, là bản canonicalSitemap là tín hiệu "đây là trang chính thức"
Không chứa trang đăng nhập, đăng ký, trang tham sốLãng phí thu thập, gửi tín hiệu lẫn lộn
lastmod phản ánh lần thay đổi nội dung thậtGoogle dùng lastmod khi nó chính xác một cách nhất quán
Tối đa 50.000 URL hoặc 50 MB (chưa nén) mỗi tệpGiới hạn của giao thức; vượt thì dùng sitemap index
Khai báo trong robots.txt và gửi trong Search ConsoleGiúp bot tìm thấy và giúp bạn theo dõi lỗi

Google bỏ qua <priority> và <changefreq>, nên không cần mất công tinh chỉnh hai trường này.

Kiểm tra định kỳ

  1. Mở /robots.txt trên trình duyệt và đọc lại từng dòng sau mỗi lần triển khai.
  2. Trong Search Console: báo cáo robots.txt (lỗi tải tệp) và báo cáo Sơ đồ trang web (số URL đã phát hiện).
  3. Crawl toàn bộ URL trong sitemap, kiểm tra mã trạng thái và thẻ canonical.
  4. So sánh URL trong sitemap với URL thực sự được liên kết nội bộ, để tìm trang mồ côi.

Về việc yêu cầu lập chỉ mục nhanh

Với trang thông thường, cách đúng là sitemap chính xác, liên kết nội bộ tốt và công cụ Kiểm tra URL trong Search Console. Google Indexing API chỉ dành cho trang có JobPosting hoặc BroadcastEvent trong VideoObject, không dùng cho bài viết hay trang sản phẩm.

robots.txt và sitemap là hai hạng mục đầu tiên trong technical SEO checklist.

Bài liên quan