반응형
<div id="content"> 에서 힌트를 얻어 robots.txt 를 통해 노출되는 정보가 있는지 체크한다.
Robots.txt에 나온 경로를 참고하여 존재하는 페이지에 직접 접속한다.
Natas4 / Z9tkRkWmpt9Qr7XrR5jWRkgOU901swEZ
Robots.txt파일은 1994년 6월에 만들어진 로봇 배제 표준으로 로봇의 웹사이트 검색을 제한/허용하는데 목적이 있다.
로솝은 웹사이트를 검색하기 전에 robots.txt파일이 있는지 여부를 확인 후 그 설정에 따라 동작하지만 강제성을 띄지 않기 때문에 일부 스팸 발송자나 악의적인 사용자는 이를 무시하고 웹사이트를 검색할 수 있다.
Robots.txt 파일은 다음 두가지 규칙을 사용한다.
User-agent : 아래에 나오는 규칙이 적용되는 로봇
Disallow : 차단할 URL
참고 : http://blog.naver.com/PostView.nhn?blogId=piocert&logNo=108491510&redirect=Dlog&widgetTypeCall=true
http://www.robotstxt.org/
반응형
