2014.01.11 04:04
검색엔진의 로봇들이 문서정보를 수집할때 노출될것인지 아닌지를 결정하는 문구는?
검색엔진들이 정기적으로 문서를 크롤링하는데 홈페이지내의 정보를 유출하지 않고 보호하고 싶을때 사용하는 것이 robots 메타 태그입니다.
robots 메타 태그는 웹크롤러가 긁어갈 것인지 말 것인지를 개별 문서 별로 설정할 수 있습니다.
독립적인 웹 서버를 사용하지 않고 웹호스팅 서비스나 계정을 사용하고 있는 경우 "Document Root"에 robots.txt 문서를 넣어두지 않고 문서별로 설정하는 방법?
<문서의 상단에 설정하는 메타테그>
meta name="robots" content="index,follow" : 이 문서도 긁어가고 링크된 문서도 긁어감.
meta name="robots" content="noindex,follow" : 이 문서는 긁어가지 말고 링크된 문서만 긁어감.
meta name="robots" content="index,nofollow" : 이 문서는 긁어가되, 링크는 무시함.
meta name="robots" content="noindex,nofollow" : 이 문서도 긁지 않고, 링크도 무시함.
적용하실때 앞뒤에 < >로 적용을 하셔야 합니다.
서비스 링크