Cách chặn bot AI crawl – Server đơ luôn đây là website của một blog dùng chung một server ngày trước chưa có AI website hoạt động tốt luôn. Từ đầu năm sao bot AI vào nhiều thế, Hix tiền đâu để cụm Cloud mua máy tính bây giờ !
Bạn có thể áp dụng 3 phương pháp phổ biến nhất dưới đây, xếp theo độ từ đơn giản đến nâng cao.
1. Sử dụng file robots.txt (Đơn giản nhất)
Đây là phương pháp khai báo tiêu chuẩn. Bạn chỉ cần chỉnh sửa hoặc tạo file robots.txt nằm ở thư mục gốc của website và thêm đoạn mã sau để chặn các bot phổ biến:text# Chặn OpenAI (ChatGPT)
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
# Chặn Google Extended (Gemini)
User-agent: Google-Extended
Disallow: /
# Chặn Anthropic (Claude)
User-agent: anthropic-ai
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Chặn Perplexity
User-agent: PerplexityBot
Disallow: /
# Chặn ByteDance (Tiktok/Douyin AI)
User-agent: Bytespider
Disallow: /
# Chặn thu thập dữ liệu chung cho AI (Common Crawl)
User-agent: CCBot
Disallow: /
2. Sử dụng tường lửa Cloudflare (Triệt để nhất)
Nếu website của bạn sử dụng dịch vụ của Cloudflare, bạn có thể chặn đứng bot AI chỉ bằng một cú click chuột:Truy cập vào trang quản trị Cloudflare.Chọn website của bạn → Security (Bảo mật) → WAF (Tường lửa).
Tìm tính năng “Block AI crawlers and scrapers” (hoặc cấu hình trong mục Control AI crawlers) và bật nó lên.Cloudflare sẽ tự động cập nhật danh sách các bot AI và chặn chúng ở tầng mạng trước khi chúng kịp tiếp cận máy chủ của bạn.
3. Cấu hình file .htaccess
(Dành cho máy chủ Apache)Nếu bạn không dùng Cloudflare và muốn chặn triệt để ở cấp độ máy chủ, hãy thêm đoạn mã sau vào file .htaccess:apacheRewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ChatGPT-User|Google-Extended|anthropic-ai|ClaudeBot|PerplexityBot|Bytespider|CCBot) [NC]
RewriteRule .* – [F,L]
Thôi thì chặn được tý nào hay tý đấy!
Nguồn content: Tăng traffic – tăng đơn – tăng giá trị thương hiệu.Tôi rất Hài hước 🙋🏻♂️ cân nhắc kỹ khi Follow 😀 Tác giả: https://www.facebook.com/domanhhung87
