Tạo robots.txt
Công cụ tạo robots.txt miễn phí trực tuyến, trình soạn trực quan
robots.txt là gì?
robots.txt là tệp đặt ở gốc trang web báo cho trình thu thập dữ liệu công cụ tìm kiếm biết trang hoặc phần nào chúng có thể và không thể truy cập. Nó sử dụng Giao thức Loại trừ Robot để xác định quy tắc cho các user-agent (trình thu thập) khác nhau. robots.txt được cấu hình đúng là cần thiết cho SEO.
Cách tạo tệp robots.txt
Thêm quy tắc bằng cách chỉ định user-agent, đường dẫn disallow và đường dẫn allow. Tùy chọn thêm URL sitemap và crawl delay. Nhấn Generate để tạo nội dung robots.txt. Sao chép đầu ra và đặt tại gốc trang web (https://example.com/robots.txt).
▶robots.txt có chặn công cụ tìm khỏi việc lập chỉ mục không?
robots.txt báo cho trình thu thập không thu thập một số trang nhất định, nhưng nó không ngăn chặn lập chỉ mục nếu các trang khác liên kết đến chúng. Để chặn thực sự, sử dụng thẻ meta noindex hoặc bảo vệ bằng mật khẩu.
▶User-agent: * nghĩa là gì?
Ký tự đại diện * áp dụng quy tắc cho tất cả trình thu thập. Bạn có thể nhắm mục tiêu trình thu thập cụ thể theo tên, như User-agent: Googlebot cho trình thu thập của Google.
▶Tôi nên đặt robots.txt ở đâu?
Đặt tệp robots.txt tại gốc tên miền: https://example.com/robots.txt. Nó phải có thể truy cập qua HTTP và không thể đặt trong thư mục con.