Quay lại trang chủ
Kiểm tra AI Bot Policy
Kiểm tra tệp robots.txt của website để xem các AI crawler (GPTBot, ClaudeBot, Googlebot...) có được phép thu thập dữ liệu không.
Trạng thái cấu hình AI Web Crawlers
Nhập liên kết Robots.txt ở bên trái và bắt đầu quét.
Hướng dẫn kiểm tra AI Bot Policy
- 1Nhập liên kết đầy đủ đến tệp robots.txt của website (ví dụ: https://nhanhoa.com/robots.txt).
- 2Bấm nút phân tích để hệ thống tải và bóc tách các dòng lệnh cấu hình.
- 3Xem chi tiết trạng thái Cho phép (Allowed) hay Chặn (Blocked) của 5 AI agents hàng đầu.
Câu hỏi thường gặp
Q:Các AI Agents được hỗ trợ nhận diện là những con bot nào?
A:Hệ thống nhận diện cụ thể các bot: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), Applebot-Extended và CCBot.
Q:Làm sao để cấm tất cả AI bot thu thập dữ liệu web?
A:Cấu hình các dòng Disallow tương ứng cho từng tên bot, ví dụ: User-agent: GPTBot và Disallow: /.