Code wave

네이버에서 사이트 간단체크를 하였을 때, '네이버 검색로봇이 사이트 진단을 할 수 없습니다.'라고 결과가 나오는 경우가 있다. 이 경우 robots.txt 파일을 사이트에 적용하면 간단히 해결된다.

검색로봇이란?

검색로봇이란, 웹을 돌아다니면서 정보를 수집하는 로봇이며 크롤러라고도 부른다. 각 검색엔진에는 크롤러가 존재하며 구글의 '구글 봇', 네이버의 '예티'가 그 예시이다. 이 로봇들이 마음대로 웹사이트에 접근할 수 있는 건 아니다. 접근 가능하다는 증명서가 필요한데, 그게 바로 robots.txt인 것이다. 각 검색 로봇에게 접근 권한을 주어야 내 웹사이트가 크롤링이 가능해지며, 검색 페이지에 잘 노출된다.

사이트 간단체크하기

1. 네이버 서치어드바이저에 접속한다.

https://searchadvisor.naver.com/

2. 웹마스터 도구로 들어간다.

3. 간단체크에 들어가서, 사이트 URL을 입력하고 돋보기 버튼을 클릭한다.

4.'robots.txt가 존재하지 않습니다.'라는 진단 결과가 나온다면 아직 robots.txt 설정이 되어있지 않은 것이다.

네이버 robots.txt 설정하는 방법

1. 사이트 관리에 들어간 다음 좌측 메뉴에서 검증-robots.txt를 클릭한다.

2. robots.txt 간단 생성에서 아래와 같이 설정 후 다운로드한다.

3. 다운로드한 robots.txt 파일을 워드프레스 FTP 최상위 폴더에 업로드한다.

4. 수집요청 버튼을 클릭하면 수집요청이 되었다는 알림창이 뜬다.

5. 잠시 후, robots.txt 검증에서 확인 버튼을 클릭한다.

6. 수집이 가능하다는 알림창이 뜨면 제대로 설정된 것이다.