IIS로 전체 HDD를 열어놓고 쓴 적이 있었는데
알 수 없는 IP에서 하루에 두세 번씩 connect 하더니
얼마 안가서 야후와 구글에서 내 HDD의 파일 링크들이 검색되기 시작했고
외국 IP들이 들어와서 게임들을 다운로드 받아갔다. -_-
robots.txt를 사용하면 웹을 인덱싱하는 검색엔진 로봇을 차단할 수 있다.
robots.txt 는 웹페이지 root에 두어야 검색엔진 로봇이 인식하며
도메인마다 (서비스마다, 포트마다) 존재해야 한다.
전체 웹 사이트를 인덱스하지 않도록 차단할 경우
알 수 없는 IP에서 하루에 두세 번씩 connect 하더니
얼마 안가서 야후와 구글에서 내 HDD의 파일 링크들이 검색되기 시작했고
외국 IP들이 들어와서 게임들을 다운로드 받아갔다. -_-
robots.txt를 사용하면 웹을 인덱싱하는 검색엔진 로봇을 차단할 수 있다.
robots.txt 는 웹페이지 root에 두어야 검색엔진 로봇이 인식하며
도메인마다 (서비스마다, 포트마다) 존재해야 한다.
전체 웹 사이트를 인덱스하지 않도록 차단할 경우
User-agent: *전체 웹사이트를 인덱스하도록 허용할 경우
Disallow: /
robots.txt를 두지 않음특정 디렉토리, 파일 타입, GET방식 DATA를 인덱스 하지 않도록 차단할 경우
User-agent: *
Disallow:
User-agent: *
Disallow:/cgi-bin/
Disallow: /*.php$
Disallow: /*?
