검색 로봇 막기

구글 : Googlebot
네이버:  Naverbot
야후:  Yahoo! Slurp
엠파스봇:  EMPAS.ROBOT
다음:  Daumoa-feedfetcher
MSN : MSNBot
첫눈: 1Noonbot 1.0

robots.txt

1. 홈페이지 전체 모든 검색엔진 막을때
User-agent: *
Disallow: /

2. 일부 디렉토리만 모든 검색엔진에 보여주고 싶을때
User-agent: *
Disallow: /main/
Disallow: /board/

3. 특정 검색엔진만 막고싶을때
User-agent: Cowbot
Disallow: /
User-agent: *
Disallow:

4. 특정 봇만 허용 하고싶을때
User-agent: Cowbot
Disallow: 
User-agent: *
Disallow: /

5. 특정 봇 특정 이미지 못가져가게 막고싶을때
User-agent: Cowbot
Disallow: 
User-agent: *
Disallow: /*.gif$
Disallow: /*.jpg

해당 메타 태그를 페이지 상단에 넣을경우 해당 페이지는 검색로봇이 검색하지 않게 됩니다.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">