Code wave

네이버에서 사이트 간단체크를 하였을 때, '네이버 검색로봇이 사이트 진단을 할 수 없습니다.'라고 결과가 나오는 경우가 있다. 이 경우 robots.txt 파일을 사이트에 적용하면 간단히 해결된다.

검색로봇이란?

검색로봇이란, 웹을 돌아다니면서 정보를 수집하는 로봇이며 크롤러라고도 부른다. 각 검색엔진에는 크롤러가 존재하며 구글의 '구글 봇', 네이버의 '예티'가 그 예시이다. 이 로봇들이 마음대로 웹사이트에 접근할 수 있는 건 아니다. 접근 가능하다는 증명서가 필요한데, 그게 바로 robots.txt인 것이다. 각 검색 로봇에게 접근 권한을 주어야 내 웹사이트가 크롤링이 가능해지며, 검색 페이지에 잘 노출된다.

사이트 간단체크하기

1. 네이버 서치어드바이저에 접속한다.

https://searchadvisor.naver.com/

2. 웹마스터 도구로 들어간다.

3. 간단체크에 들어가서, 사이트 URL을 입력하고 돋보기 버튼을 클릭한다.

4.'robots.txt가 존재하지 않습니다.'라는 진단 결과가 나온다면 아직 robots.txt 설정이 되어있지 않은 것이다.

네이버 robots.txt 설정하는 방법

1. 사이트 관리에 들어간 다음 좌측 메뉴에서 검증-robots.txt를 클릭한다.

2. robots.txt 간단 생성에서 아래와 같이 설정 후 다운로드한다.

3. 다운로드한 robots.txt 파일을 워드프레스 FTP 최상위 폴더에 업로드한다.

4. 수집요청 버튼을 클릭하면 수집요청이 되었다는 알림창이 뜬다.

5. 잠시 후, robots.txt 검증에서 확인 버튼을 클릭한다.

6. 수집이 가능하다는 알림창이 뜨면 제대로 설정된 것이다.

구글 검색 엔진에 사이트를 등록했다면, 이번에는 네이버에 등록하도록 하겠다. 구글과 마찬가지로 네이버에도 사이트를 등록해야 네이버에서 해당 웹사이트가 검색된다. 네이버는 아직까지도 국내 점유율 1위 검색 엔진이다. 때문에 유입량을 늘리려면 반드시 사이트 등록을 해두길 바란다.

네이버에 사이트 등록하기

1. 네이버 서치 어드바이저에 접속한다.

https://searchadvisor.naver.com/

2. 웹마스터 도구에 들어간다.

3. 사이트 URL을 입력하여 등록한다.

4. 메타태그를 복사한다.

5. 워드프레스 관리자 페이지에서 설정-Insert Headers and Footers에 들어가서 'Scripts in Header'에 복사해둔 메타태그를 붙여 넣고 변경사항을 저장한다.

※ Insert Headers and Footers 플러그인이 설치되어있지 않다면 아래 페이지에서 참고하여 설치하면 된다.

6. 다시 웹마스터 도구로 돌아와 '소유확인' 버튼을 클릭한다.

7. 메타태그가 정상적으로 추가되었다면 소유 확인이 완료되었다는 알림창이 든다.

네이버에 rss 등록하기

RSS(Real Simple Syndiction)란, 웹사이트 내 작성된 글의 복잡한 구조를 간략하게 만든 데이터 형식이다. 이메일을 생각하면 쉬운데, 우리가 이메일을 확인할 때 제목부터 보고 선택적으로 내용을 확인할 수 있다. 이처럼 웹사이트의 콘텐츠도 상세 내용부터 보여주는 게 아닌 간략한 정보만 먼저 확인할 수 있도록 하는 것이다.

1. 웹마스터 도구로 들어간다.

2. 사이트 목록에서 해당 사이트 URL을 클릭한다.

3. 좌측 메뉴에서 요청-RSS 제출로 들어간다.

4. 아래와 같이 '사이트URL/rss'를 입력하고 확인 버튼을 클릭한다.

5. RSS가 정상적으로 제출되었다면 제출된 RSS 리스트에 등록된다.

네이버에 사이트맵 등록하기

1. 웹마스터 도구로 들어간다.

2. 좌측 메뉴에서 요청-사이트맵 제출로 들어간다.

3. 워드프레스에 Yoast SEO 플러그인이 설치되어 있지 않다면 먼저 설치해준다.

※ 플러그인 자세한 설치 방법은 아래 페이지에서 확인하면 된다.

4. 아래와 같이 '사이트URL/sitemap_index.xml'을 입력한 후 확인 버튼을 클릭한다.

5. 사이트맵이 정상적으로 제출되었다면 제출된 사이트맵 리스트에 등록된다.