Kiểm tra robots.txt
Nhập tên miền và một đường dẫn để biết Googlebot có được phép thu thập không — kèm quy tắc cụ thể đã quyết định kết quả.
Công cụ kiểm tra những gì?
- Nhóm User-agent và quy tắc Allow/Disallow
- Quy tắc khớp dài nhất (Allow thắng khi bằng nhau)
- Disallow toàn site, crawl-delay (Google bỏ qua)
- Khai báo Sitemap, quy tắc chặn CSS/JS
Đi sâu hơn
Giới hạn lượt dùng mỗi ngày để bảo vệ hệ thống. Chúng tôi chỉ lưu tên miền được kiểm tra và loại vấn đề (không lưu IP hay nội dung trang) để thống kê ẩn danh.