robots.txt 생성기
무료 온라인 robots.txt 생성 도구, 시각적 편집
robots.txt란
robots.txt는 웹사이트 루트에 위치한 파일로, 검색 엔진 크롤러에게 접근 가능/불가능한 페이지를 지시합니다.
▶robots.txt로 검색 엔진 색인을 차단할 수 있나요?
크롤링은 지시하지만 다른 페이지에서 링크된 경우 색인을 완전히 차단할 수는 없습니다. noindex 메타 태그를 사용하세요.
이 도구가 도움이 되었다면, 개발자에게 커피 한 잔을 사주세요.
커피 사주기