Trong quá trình SEO, việc bảo mật thông tin cũng như chiến lược SEO của mình để không bị đối thủ phát hiện là việc rất quan trọng. Đối thủ thường dùng các công cụ như Ahrefs hay Semrush để theo dõi website bạn. Bạn có thể chặn Bot của Semrush và Ahrefs thu thập dữ liệu website của bạn bao gồm Từ khóa và Baclink nhằm ngăn chặn đối thủ biết keyword nào đang top từ đó giúp họ onpage và offpage. Trong bài viết này IMTA sẽ hướng dẫn bạn cách chặn Semrush Bot và Ahrefs bot thu thập dữ liệu website bạn.
Cách thực hiện chặn Bot Semrush và Ahrefs
Để chặn bot Semrush và Ahrefs chúng ta có 3 cách để chỉnh sửa file robots.txt
Cách 1: Thay đổi file robots.txt trên hosting
Bạn truy cập vào hosting của bạn, tại mục root bạn tìm file robots.txt. Nếu website bạn chưa có file robots.txt thì bạn tạo file này trên máy tính, dùng notepad của Window để tạo, sau đó upload lên hosting.
Dòng code để vào robots.txt là bổ sung 2 User-agent và đưa quy tắc chặn Disallow: / vào file robots.txt là được.
User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/?q=*
Disallow: /?s=*
Disallow: /search/*
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
Sitemap: https://imta.edu.vn/sitemap_index.xmlSau đó bạn lưu lại hoặc upload lên hosting là được bạn nhé.
Giải thích:
User-agent: * => tác động toàn bộ bot bao gồm Google Bot
User-agent: SemrushBot => Chỉ tác động lên Bot của SemRush không bao gồm Google Bot
User-agent: AhrefsBot => Chỉ tác động lên Bot của Ahrefs không bao gồm Google Bot
Cách 2: Sửa file robots.txt với Yoast SEO/Rank Math SEO
Mình thấy nếu dùng WordPress và có cài sẵn Yoast SEO hoặc Rank Math SEO thì bạn nên dùng chức năng công cụ để thay đổi.
Với Yoast SEO => Công cụ => Trình chỉnh sửa tập tin
Với Rank Math SEO => General Settings => Edit Robots.txt
Thông thường những bạn học digital marketing fullstack thì hay dùng WordPress để làm SEO hoặc chạy ads, hầu hết đều cài đặt 2 plugin này.
Cách 3: Dùng plugin robots.txt
Cách này dùng cho bạn nào dùng WordPress và muốn làm nhanh chóng, IMTA không khuyến nghị cách này vì làm cách này thuận tiện nhưng gặp vấn đề phụ thuộc. Ví dụ như lỗi bảo mật, plugin không cập nhật nữa. Chỉ dùng khi bạn không có pass hosting.
Bước tiếp thao là bạn đến mục Cài đặt => tìm đến plugin => dán cái code vào
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
Tuy nhiên 1 số trường hợp thì những plugin cho tạo file robots.txt pluign này không thể ghi đè file có sẵn.
Do đó thay vì dùng những plugin này thì chúng ta nên dùng Yoast SEO hoặc Rank Math SEO.
Sau khi đã hoàn tất bạn hãy kiểm tra bằng url sau: domain/robots.txt (thay bằng domain của bạn)
- Khóa học SEO tại IMTA - Phương pháp SEO quy trình bài bản
- Khóa học quảng cáo Google Ads - Cơ bản đến chuyên sâu
- Khóa Học Digital Marketing - Chạy quảng cáo đa kênh kết hợp
Lý do nên chặn bot của Ahrefs và Semrush
Chặn bot của Ahrefs và Semrush là một chiến lược thú vị trong SEO nhằm không để đối thủ theo dõi chiến lược SEO của bạn nhưng không bị ảnh hưởng đến thứ hạng website, vì hai công cụ này không liên quan trực tiếp đến các thuật toán Google. Dưới đây là một số lý do để xem xét chặn bot Ahrefs và Semrush:
- Bảo vệ thông tin website: Ngăn chặn đối thủ phân tích và theo dõi tình trạng xếp hạng của website bạn. Nhiều SEOer sử dụng Ahrefs và Semrush để “spy”, phân tích đối thủ cạnh tranh.
- Giữ bí mật về chiến lược backlink: Ngăn đối thủ phát hiện các backlink mà bạn đang xây dựng. Dù có nhiều công cụ để kiểm tra backlink, nhưng Ahrefs và Semrush vẫn là 2 tools SEO phổ biến nhất hiện nay.
- Bảo mật chiến lược SEO của bạn: Như đã nói ở trên, nhiều đối thủ sẽ “spy” website bạn, vì vậy, ngoài việc bảo mật thông tin website, còn không để người khác biết rõ về tình trạng và chiến lược SEO hiện tại của website.
- Ngăn chặn đối thủ biết khi bạn đang lên top: Khi website bắt đầu có dấu hiệu lên top, chặn bot của Ahrefs và Semrush để các chỉ số trên hai công cụ này giảm xuống. Khiến đối thủ tưởng rằng website của bạn đang gặp vấn đề, từ đó chủ quan để website bạn không bị chú ý.
- Giảm sự theo dõi từ đối thủ: Khi website của bạn đang có xu hướng tăng trưởng, chặn bot Ahrefs và Semrush giúp bạn tránh bị đưa vào danh sách theo dõi của đối thủ, khiến họ nghĩ rằng website của bạn không đáng để chú ý.
Những hỏi đáp nhanh trong bài viết
Lời kết
Việc chặn bất kỳ 1 bot nào cũng tương đối dễ dàng. Bạn chỉ cần dùng 2 cấu trúc là User-agent: và Disallow: / để chặn những bot không mong muốn.
Hy vọng rằng bài viết này giúp bạn nhiều khi học digital marketing đa kênh nhé. Sau này nếu bạn muốn chặn bất kỳ Bot nào thì bạn có thể lên Google tìm tên của Bot đó
Cảm ơn bạn đã đọc bài viết!