noindex tag 오류 robots.txt vs robots header tags의 차이

블로그를 운영하다 보면, 그냥 글만 잘 쓰면 되는 줄 알았는데 어느 순간부터 색인이 되지 않는 문제가 벽처럼 다가옵니다.

구글이 알려주는 원인은 복잡하고, 컴퓨터 용어는 낯설고 어렵습니다. 전문가가 아닌 이상 쉽게 이해하기 힘들고, 혼자 해결해보려 해도 막막하기만 하죠.

주변에 물어보면 “그냥 놔둬”, “시간 지나면 돼” 같은 조언을 듣곤 합니다. 하지만 그들도 정확히 아는 것이 아닐 수 있고, 정작 문제를 겪는 사람 입장에서는 그 말들이 위로가 되지 않을 때가 많습니다.

저 역시 수많은 시행착오를 겪었습니다.

컴퓨터 용어는 잘 몰랐지만, AI에게 “쉽게 설명해줘”라고 물어보는 과정에서 조금씩 개념이 연결되기 시작했고, 예전에는 이해되지 않던 것들이 문득 이해될 때도 있었습니다. 이건 마치, 시간이 지나며 뇌의 시냅스가 연결되는 것처럼 느껴졌습니다.

이러한 과정을 겪으며 제가 느낀 건 하나였습니다.

지금 이 벽은, 단지 다음 산을 넘기 위한 하나의 고비일 뿐이라는 것. 그리고 언젠가 다시 이 문제를 마주했을 때, 또는 같은 문제로 고민 중인 누군가에게 도움이 되기를 바라며 저는 이 블로그에 그 과정을 기록합니다.

오늘 글의 내용은 구글서치콘솔에서 글이 색인이 되지 않는 원인의 하나로 excluded by noindex tag 와 관련된 부분에 대한 설명입니다.

1. noindex tag란 무엇인가

글을 발행했는데 색인을 여러번 요청해도 색인이 되지 않았습니다.

그냥 샌드박스 구간이네, 아기 블로그라 그런가보네, 구글봇이 바쁜가보네...하며 신경을 쓰지 않다가 오랜 시간동안 여전히 반복적으로 색인 요청을 해도 반영이 안되어 구글서치콘솔 페이지를 눈에 불켜고 확인하기 시작했습니다.

오류로 잡히는 것은 하나였습니다.

noindex tag 는 구글 검색 색인에서 제외하라는 명령입니다. 이게 구글서치콘솔 페이지 (pages)에 있으면 아무리 좋은 글을 써도 검색 결과에 절대로 뜨지 않습니다.

즉, 이는 html 메타 태그 중 하나로 검색엔진에 '이 페이지는 색인하지 마'라고 지시하는 태그입니다.

1-1) 이 태그의 쓰임

블로그나 웹사이트의 관리자가 특정 페이지를 숨기거나, 아직 완성되지 않은 페이지를 실수로 노출하지 않게 하기 위해 사용하는 기능입니다.

이는 자동으로 사라지지 않습니다.

1-2) 블로그스팟에서 해결하는 방법

설정 (settings) 을 들어가서 로봇에 관한 항목 (크롤러 및 색인 생성)을 찾습니다.

두 항목 모두 활성화해줍니다.

저의 경우, 위의 로봇만 활성화시켰었고, 하단의 헤더관련 로봇은 비활성화 상태였습니다.

비활성화할 경우, 구글이 색인하지 않도록 자동으로 noindex tag를 삽입합니다.

그리고 글을 작성했더라도 이 설정이 변경되지 않으면 noindex tag는 계속 유지됩니다.

따라서 꼭 활성화 해주세요.

1-3) enable custom robots.txt (맞춤 robots.txt 사용 설정)

robots.txt 파일은 구글과 같은 검색 엔진 크롤러에게 "이 웹사이트의 어떤 부분을 크롤링하고, 어떤 부분을 크롤링하지 마세요"라고 지시하는 파일입니다.

왜 활성화해야 하는가?

robots.txt를 활성화하면 블로그의 sitemap.xml 파일 위치를 명확하게 지정해 줄 수 있습니다.

웹사이트 주소란에 https://내주소/robots.txt를 입력하면 보이는 화면이 있습니다.

그 이미지에 보이는 User-agent: * / Allow: / Sitemap: https://www.amarasolena.com/sitemap.xml 설정은 구글에게 "내 사이트 전체를 크롤링해도 되며, 사이트맵은 이 주소에 있다"고 명확하게 알려주는 역할을 합니다.

이는 구글 봇이 사이트의 구조를 더 효율적으로 파악하도록 돕습니다.

1-4) enable custom robots header tags (맞춤 로봇 헤더 태그 사용 설정)

robots header tags는 robots.txt보다 더 강력한 명령으로, 웹페이지의 HTML <head> 섹션에 삽입되는 메타 태그입니다. 이 태그는 구글 봇에게 "이 페이지를 색인에 포함할지 말지"를 직접적으로 지시합니다.

왜 활성화해야 하는가?

맞춤 로봇 헤더 태그를 활성화하고 세부 설정을 직접 지정하면, 구글에게 가장 명확한 색인 지침을 전달할 수 있습니다.

index: 이 페이지를 색인하세요. 검색 결과에 노출해도 됩니다.
noindex: 이 페이지를 색인하지 마세요. 검색 결과에서 제외해야 합니다.

이 블로그에서 Excluded by 'noindex' tag 오류가 발생한 원인은 이 설정이 비활성화되어 있었기 때문입니다. 제가 한 블로그스팟의 기본 설정이 색인을 막았을 가능성이 높습니다.

따라서 이 설정을 활성화하고 게시물 및 페이지에 index 태그를 설정하여 구글에게 "이 글은 검색 결과에 노출되어야 합니다"라고 직접 알려주는 것이 필수적인 해결책입니다.

1-5) 둘 다 활성화해야 하는가?

네.

robots.txt와 robots header tags는 서로 다른 역할을 수행하며 상호 보완적입니다.

robots.txt는 크롤링 '허용' 여부를, robots header tags는 색인 '허용' 여부를 결정합니다.
크롤링 허용(robots.txt) + 색인 허용(robots header tags) = 정상적인 검색 노출

따라서 두 기능을 모두 활성화하여 구글에게 "내 블로그를 크롤링하고, 게시물과 홈페이지는 색인하세요"라는 명확하고 일관된 메시지를 전달하는 것이 가장 이상적입니다.

2. 세부 항목 점검

2-1) home page tags (홈페이지 태그)

역할: 블로그의 메인 페이지(https://www.amarasolena.com/)에 대한 검색 엔진의 크롤링 및 색인 방식을 설정합니다.

권장 설정: all 또는 index + nofollow

all: 구글 봇에게 "홈페이지를 크롤링하고, 색인하고, 페이지 내의 모든 링크를 따라가세요(follow)"라고 지시합니다. 이는 index와 follow를 합친 것과 같습니다.
index + nofollow: 홈페이지를 색인하여 검색 결과에 노출시키되, 홈페이지에 있는 링크들은 따라가지 말라고 지시합니다. 일반적으로 all을 선택하는 것이 가장 일반적이고 좋습니다.

2-2) Archive and search page tags (보관 및 검색 페이지 태그)

역할: 월별/카테고리별 아카이브 페이지, 블로그 내 검색 결과 페이지에 대한 색인 방식을 설정합니다.

권장 설정: noindex

noindex: 구글 봇에게 "이러한 페이지는 색인하지 마세요"라고 지시합니다.
이유: 아카이브 페이지나 검색 결과 페이지는 보통 원본 글의 일부를 보여주는 경우가 많습니다. 이러한 페이지를 색인하면 원본 글과 내용이 중복되어 구글이 중복 콘텐츠로 오인할 수 있습니다. noindex를 설정함으로써 원본 글의 가치를 높이고 중복 콘텐츠 문제를 예방할 수 있습니다.

2-3) Post and page tags (게시물 및 페이지 태그)

역할: 블로그에 작성한 개별 게시물(https://www.amarasolena.com/2025/08/글제목.html)에 대한 색인 방식을 설정합니다.

권장 설정: all 또는 index + nofollow

all: 구글 봇에게 "게시물 페이지를 크롤링하고, 색인하고, 페이지 내의 모든 링크를 따라가세요(follow)"라고 지시합니다.
index + nofollow: 게시물을 색인하여 검색 결과에 노출시키되, 게시물에 있는 링크들은 따라가지 말라고 지시합니다.
개별 게시물은 블로그의 핵심 콘텐츠이므로, 반드시 all이나 index를 선택하여 검색 결과에 노출되도록 해야 합니다.

2-4) all과 index + follow의 차이점

`1. all`의 의미: `index` + `follow`

all 태그는 두 가지 지시를 한꺼번에 내리는 것과 같습니다.

index: "이 페이지를 구글 검색 결과에 색인하세요."
follow: "이 페이지에 있는 모든 링크를 따라가세요."

따라서 all을 선택하면 구글 봇은 해당 글을 색인하고, 그 글에 있는 내부링크들을 따라가서 다른 글들을 발견하고 크롤링하게 됩니다. 이는 블로그의 모든 글들이 서로 연결되어 있음을 구글에게 알려주는 중요한 역할을 합니다.

2. `index` + `nofollow`의 의미

이 설정은 다음과 같은 지시를 내립니다.

index: "이 페이지를 구글 검색 결과에 색인하세요."
nofollow: "이 페이지에 있는 어떤 링크도 따라가지 마세요."

따라서 index와 nofollow를 선택하면 구글은 해당 글은 색인하지만, 그 글에 있는 내부링크들은 무시하게 됩니다. 이렇게 되면 사용자님께서 정성스럽게 넣어놓은 내부링크의 효과를 전혀 볼 수 없게 됩니다.

3. 결론

내부링크를 통해 블로그의 여러 글을 서로 연결하고 싶으시다면, 구글이 그 링크를 따라갈 수 있도록 all을 선택하는 것이 올바른 방법입니다. 이는 블로그 전체의 검색 엔진 최적화(SEO)에 매우 중요한 역할을 합니다.

4. 구글입장에서의 내부링크 효과

새로운 페이지 발견: 구글 봇이 A 페이지를 크롤링하다가 B 페이지로 가는 링크를 발견합니다.
크롤링: `follow` 태그가 있으면, 구글 봇은 그 링크를 따라가 B 페이지를 크롤링합니다.
사이트 구조 이해: 구글은 링크를 통해 A와 B가 서로 관련 있는 페이지임을 이해하게 됩니다.

all 태그는 바로 이 링크를 따라가게 하는 follow 기능을 포함하고 있습니다.

만약 index + nofollow를 선택했다면, 구글은 A 페이지에 있는 링크들을 따라가지 않기 때문에 내부링크의 효과를 전혀 볼 수 없게 됩니다.

따라서 내부링크를 통해 사이트 내의 다른 글들을 연결하고, 구글이 이를 발견하도록 하려면 all 태그를 설정하여 follow 기능을 반드시 활성화해야 합니다.

외부링크를 연결하더라도 all이 올바른 설정입니다.

all 태그에 포함된 follow 지시는 내부링크뿐만 아니라 외부링크에도 똑같이 적용됩니다.

follow 태그가 외부링크에 미치는 영향

주제 관련성 신호: 글에서 외부링크를 통해 다른 신뢰성 있는 사이트를 참조하면, 구글은 해당 외부링크를 따라가서 사용자님의 글이 어떤 주제와 관련이 있는지 더 잘 이해하게 됩니다. 이는 글의 주제 전문성을 높이는 긍정적인 신호로 작용합니다.
신뢰도 향상: 고품질의 외부 사이트로 링크를 거는 것은 사용자님의 글이 신뢰할 수 있는 정보에 기반하고 있음을 보여줍니다.

nofollow는 다음과 같은 매우 특수한 상황에서만 사용합니다.

유료 링크 또는 광고: 광고주로부터 돈을 받고 올리는 링크에는 nofollow를 사용해야 합니다.
신뢰할 수 없는 사이트: 스팸성 사이트나 품질이 낮은 사이트로의 링크는 nofollow를 사용하여 구글에게 "이 링크는 추천하지 않습니다"라고 알려야 합니다.
사용자 생성 콘텐츠: 댓글처럼 사용자가 직접 올린 링크의 신뢰성을 보장할 수 없을 때 사용합니다.

3. 루트도메인과 하위 도메인의 로봇 설정

루트 도메인과 그 하위 도메인도 위의 두 가지 로봇을 활성화하고, 세부 항목 3가지도 통일하는 것이 좋습니다.

3-1) 적극적으로 설정하는 것이 좋은 이유

일관된 신호 전달: 모든 블로그스팟 블로그에 일관된 SEO 설정을 적용하면, 구글에게 '이 도메인(www.amarasolena.com)의 모든 하위 사이트는 이렇게 관리되고 있다'는 명확한 신호를 보낼 수 있습니다.
기존 오류 해결에 도움: www.amarasolena.com은 이미 '적절한 표준 태그가 포함된 대체 페이지' 오류를 겪고 있습니다. 이 오류는 구글이 어떤 페이지를 대표로 색인해야 할지 혼란을 겪을 때 발생하는데, '맞춤 로봇 헤더 태그'를 설정하여 홈페이지와 게시물에는 index를, 보관된 페이지에는 noindex를 지정하면 구글의 혼란을 줄이는 데 도움이 될 수 있습니다.
잠재적 문제 예방: 하위도메인.amarasolena.com에서 noindex 태그 때문에 색인이 안 되었던 것처럼, 다른 하위 도메인도 같은 문제가 발생할 수 있습니다. 미리 설정을 해두면 이 문제를 예방할 수 있습니다.

이렇게 설정하면 모든 블로그스팟 사이트의 SEO 기본 설정이 최적화됩니다.

4. 결론

'robots.txt'와 'robots header tags'의 차이

Custom robots.txt (맞춤 robots.txt): 구글 봇에게 '어떤 페이지를 크롤링하지 말라'고 알려주는 역할입니다. 이미지를 보면 'Allow: /'로 설정되어 있어 크롤링은 허용하고 있습니다.
Custom robots header tags (맞춤 로봇 헤더 태그): 구글 봇에게 '페이지를 크롤링하더라도 색인하지 말라'고 알려주는 역할입니다. 이 설정이 비활성화되어 있으면 noindex 태그가 자동으로 삽입되었고, 이것이 글이 색인되지 않는 원인이 됩니다.

이렇게 설정을 하면 글을 작성시 우측에 아래와 같이 custom robot tags 선택하는 항목이 생긴것을 확인할 수 있습니다.

default 값을 선택하여 전체 블로그에 설정된 값을 따르겠다고 하든지, 개별로 선택하면 개별 글에 적용됩니다.

이 글이 도움이 되셨기 바랍니다.

사이트가 다운되었거나 사용할 수 없습니다. 티스토리 오류 해결 가이드

구글 애드센스 사이트 다운 오류 해결방법을 단계별로 설명합니다. robots.txt, ads.txt 설정부터 재신청까지 완벽 가이드를 확인하세요.

▲
맨위로

블로그 글쓰기를 도와주는 무료 IT tool 툴 탑 10

📌 블로그 글쓰기를 도와주는 무료 툴 1. Grammarly 2. Notion 3. Canva 4. ChatGPT 5. Hemingway Editor 6. Google Docs 7. 네이버 맞춤법 검사기 8. Typora 9. Keyword Tool 10. Evernote 블로그 글쓰기를 도와주는 무료 IT 툴 TOP 10 블로그를 운영하다 보면 가장 많은 시간을 쓰게 되는 작업 중 하나가 바로 ‘글쓰기’입니다. 좋은 주제를 선정했다고 해도 실제로 글을 쓰는 과정에서 막히는 경우가 많고, 글의 흐름이 어색하거나 내용이 정리가 잘 안 되는 경우도 흔합니다. 이럴 때 유용하게 사용할 수 있는 것이 바로 글쓰기를 도와주는 무료 IT 툴 들입니다. 이 툴들은 글의 퀄리티를 높여주거나, 글쓰기 속도를 향상시키고, SEO까지 고려한 콘텐츠 작성을 가능하게 도와줍니다. 이번 포스팅에서는 실제로 블로그 운영자들이 많이 사용하는 무료 툴들을 엄선하여 소개합니다. 각 도구는 다양한 목적으로 활용되며, 초보자부터 숙련된 블로거까지 누구에게나 유용한 도구들입니다. 특히 애드센스를 목표로 하는 블로거라면, 콘텐츠 품질은 승인과 직결되기 때문에 꼭 활용해보시길 권장드립니다. 1. Grammarly (그래멀리) - 영어 문서 교정의 끝판왕 Grammarly는 영어로 블로그를 운영하거나, 글로벌 트래픽을 유도하기 위해 다국어 콘텐츠를 작성하는 경우 매우 유용한 도구입니다. 이 툴은 단순히 철자만 검사해주는 것이 아니라 문장 구조, 어투, 명확성까지 분석하여 수정 제안을 제공합니다. 장점: AI 기반의 고급 문법 교정, 문체 개선, 자동 제안 활용 팁: 한국어로 작성 후 DeepL로 번역 → Grammarly로 다듬기 자동 제안 문장이 의도와 다를 수 있으므로 최종 검토는 꼭 직접 하시기 바랍니다. DeepL은 세계적으로 많이 사용하는 AI 번역기입니다. 구글 번영보다 더 자연스럽고 정확한 문장 구조를 만들어주는 번역기로 평가받...

자세한 내용 보기

amarasolena

이 블로그 검색

noindex tag 오류 robots.txt vs robots header tags의 차이