Hướng dẫn chặn Bot Ahref thu thập dữ liệu website của bạn

Ahrefs là công cụ hữu ích giúp phân tích và đánh giá website được rất nhiều SEOER sử dụng. Tuy vậy, đôi khi công cụ này cũng gây nên những phiền toái bởi đối thủ sẽ có thể biết bạn đang làm gì, đặt link ở đâu, số lượng bao nhiêu… Vì thế, rất nhiều anh em làm SEO muốn ngăn chặn AhrefsBot với mục đích không cho đối thủ phân tích website của mình.

AhrefsBot hoạt động như thế nào?

AhrefsBot thu thập dữ liệu trang web của bạn sau đó đưa chúng vào cơ sở dữ liệu. Nó sẽ định kỳ thu thập lại thông tin trang web của bạn để kiểm tra trạng thái hiện tại của các liên kết được tìm thấy trước đó.

Trình thu thập thông tin này sẽ không tạo ra URL, nó chỉ đi theo các liên kết được tìm thấy trên Internet. Và tất nhiên AhrefsBot hoàn toàn tuân thủ theo file robot.txt của website bạn.

Cách chặn AhrefsBot

Đầu tiên, để thay đổi tần suất AhrefsBot truy cập trang web của bạn, bạn có thể chỉ định độ trễ tối thiểu giữa hai lần truy cập liên tiếp của Bot thông qua robot.txt:

User-agent: AhrefsBot
Crawl-Delay: [value]

Trong đó giá trị [value] là thời gian được tính bằng giây.

Trong trường hợp, bạn muốn ngăn AhrefsBot truy cập trang web của mình, hãy đặt hai dòng sau vào tệp robot.txt trên website của bạn:

User-agent: AhrefsBot
Disallow: /

Nên lưu ý rằng AhrefsBot sẽ cần một khoảng thời gian để biết được những thay đổi trong tệp robot.txt của bạn. Điều này thường sẽ được thực hiện trước mỗi lần thu thập dữ liệu theo lịch trình tiếp theo.

Đánh lừa đối thủ bằng cách chặn AhrefsBot

Đây cũng là một cách khá thú vị mà nhiều “cao thủ” sử dụng với mục đích đánh lừa đối thủ, khiến họ phân tích sai hướng. Điều này thường được thực hiện bằng cách chặn AhrefsBot trên hệ thống website vệ tinh chất lượng, PBN. Đừng ngạc nhiên khi bạn check đối thủ chỉ thấy toàn domain từ forum, diễn đàn mà vẫn top những từ khóa khó!

Hướng dẫn chặn Bot Ahref thu thập dữ liệu website của bạn
5 (100%) 1 vote

Chào bạn. Tôi là Vũ Hero - Founder của SEO Agency. Từng có nhiều năm triển khai các dự án SEO cho nhiều doanh nghiệp, tôi nhận thấy những khó khăn mà các bạn đang gặp phải. Đó là chi phí, là thời gian và cả kết quả không như mong đợi. Cũng vì những điều này, tôi đã quyết định xây dựng đội ngũ SEO Agency với mục đích tối ưu hóa quá trình triển khai SEO website cho các doanh nghiệp SME.

ĐỂ LẠI BÌNH LUẬN

Nhập bình luận của bạn vào đây
Nhập tên của bạn vào đây