초보자를 위한 기술적 SEO 가이드
저자: Patrick Stox
Ahrefs의 기술적 SEO
기술적 SEO는 가장 중요하다가도 그렇지 않게 되는 순간이 있습니다. 페이지가 순위 경쟁을 할 기회조차 가지려면 크롤링 가능하고 인덱싱 가능해야 하지만, 다른 많은 활동은 콘텐츠와 링크에 비해 영향이 미미할 수 있습니다.
저희는 기본을 이해하고, 최대한 큰 효과를 내기 위해 시간을 어디에 쓰는 것이 좋은지 도움이 되도록 이 초보자 가이드를 작성했습니다.
기술적 SEO 기초
기술적 SEO란 무엇인가요?
기술적 SEO는 검색 엔진이 페이지를 찾고, 크롤링하고, 이해하고, 색인할 수 있도록 웹사이트를 최적화하는 실무입니다. 이를 통해 검색 엔진에서의 가시성과 순위를 높일 수 있습니다. AI 검색에도 중요합니다.
기술적 SEO는 얼마나 복잡한가요?
경우에 따라 다릅니다. 기본기는 사실 숙달하기 어렵지 않지만, 기술적 SEO는 복잡하고 이해하기 어려울 수 있습니다. 이 가이드에서는 가능한 한 쉽게 설명하겠습니다.
기술적 SEO는 AI 검색에 중요할까요?
네. AI 검색은 여전히 크롤링 가능하고, 구조가 잘 잡혀 있으며, 신뢰할 수 있는 웹페이지라는 기반에 의존합니다. 기술적 SEO는 사이트를 빠르고, 접근 가능하며, 색인 가능하게 만들어 주며, 이는 전통적인 검색뿐만 아니라 AI 기반 답변에서 내 콘텐츠가 활용될 가능성도 높여줍니다.
크롤링 이해하기
이 장에서는 검색 엔진이 콘텐츠를 효율적으로 크롤링할 수 있도록 하는 방법을 다룹니다.
크롤링 작동 방식
크롤링은 검색 엔진이 페이지에서 콘텐츠를 가져오고, 그 안의 링크를 사용해 더 많은 페이지를 찾는 과정입니다. 웹사이트에서 무엇이 크롤링될지 제어할 수 있는 몇 가지 방법이 있습니다. 다음은 몇 가지 옵션입니다.
Robots.txt
robots.txt 파일은 검색 엔진과 AI 플랫폼에 사이트에서 어디로 갈 수 있고 어디로 갈 수 없는지 알려줍니다.
대부분의 검색 엔진과 AI 크롤러는 robots.txt 설정을 따릅니다. 명시적으로 허용하지 않으면, 규칙을 준수해 콘텐츠를 크롤링하지도 않고 학습 데이터에도 포함하지 않습니다. 하지만 검색 엔진과 LLM이 웹사이트를 학습 자료로 사용하는 것을 막으면, 그들의 답변에서 내 콘텐츠가 노출될 기회도 줄어듭니다.
알고 계셨나요?
링크가 해당 페이지를 가리키고 있으면, Google과 일부 LLM이 크롤링할 수 없는 페이지도 색인할 수 있습니다. 헷갈릴 수 있지만, 페이지가 색인되지 않게 하려면 이 가이드와 플로우차트를 확인해 보세요. 과정 전반을 안내해 줍니다.
LLMs.txt
LLMs.txt는 대규모 언어 모델(LLM)에 여러분의 콘텐츠를 어떻게 사용할 수 있는지 알려주는 자발적 스탠다드입니다. 하지만 LLMs.txt 가이드에서 설명했듯이, 특별히 효과적이지 않으며 노력 대비 가치가 크지 않을 가능성이 높습니다.
아직까지 LLMs.txt가 AI 리트리벌을 개선하거나, 트래픽을 부스트하거나, 모델 정확도를 높인다는 근거는 없습니다.
크롤링 속도
접근 제한
특정 사용자에게는 페이지가 접근 가능하되 검색 엔진에는 보이지 않게 하고 싶다면, 아마 다음 세 가지 옵션 중 하나를 원할 것입니다:
- 어떤 형태의 로그인 시스템
- HTTP 인증(접근에 비밀번호가 필요함)
- IP 화이트리스트(특정 IP 주소만 페이지에 접근하도록 허용)
이 설정은 내부 네트워크, 회원 전용 콘텐츠, 또는 스테이징/테스트/개발 사이트에 가장 적합합니다. 특정 사용자 그룹이 페이지에 접근할 수 있게 해 주지만, 검색 엔진은 페이지에 접근할 수 없고 인덱싱도 하지 않습니다.
크롤링 활동 확인 방법
Google의 경우, 무엇을 크롤링하는지 가장 쉽게 확인하는 방법은 Google Search Console의 79Crawl stats98 보고서로, 웹사이트를 어떻게 크롤링하는지에 대한 더 많은 정보를 제공합니다.
AI 크롤러를 포함해 웹사이트의 모든 크롤링 활동을 확인하려면 서버 로그에 접근하고, 데이터를 더 잘 분석하기 위해 도구를 사용해야 할 수도 있습니다. 꽤 고급 작업이 될 수 있습니다. 하지만 호스팅에 cPanel 같은 컨트롤 패널이 있다면, 원시 로그와 AWstats, Webalizer 같은 일부 집계 도구에 접근할 수 있을 것입니다.
크롤링 조정
각 웹사이트에는 서로 다른 크롤링 버짓이 있습니다. 이는 Google이 사이트를 얼마나 자주 크롤링하고 싶어 하는지와, 사이트가 얼마나 크롤링을 허용하는지가 결합된 개념입니다. 더 인기 있거나 자주 바뀌는 페이지는 더 자주 크롤링되고, 인기 있어 보이지 않거나 링크가 잘 걸려 있지 않은 페이지는 덜 자주 크롤링됩니다.
크롤러가 웹사이트를 크롤링하는 동안 부담 신호를 감지하면, 보통 속도를 늦추거나 조건이 좋아질 때까지 크롤링을 아예 중단하기도 합니다.
페이지가 크롤링된 뒤에는 렌더링되어 색인으로 전송됩니다. 색인은 검색 쿼리에 대해 반환될 수 있는 페이지의 마스터 목록입니다. 색인에 대해 이야기해 봅시다.
인덱싱 이해하기
이 장에서는 내 페이지가 색인되도록 확인하는 방법과, 어떻게 색인되는지 확인하는 방법을 다룹니다.
로봇 지시어
robots meta tag는 특정 페이지를 어떻게 크롤링하거나 색인할지 검색 엔진에 알려주는 HTML 조각입니다. 웹페이지의 <head> 섹션에 넣으며, 이런 형태입니다:
<meta name="robots" content="noindex" />
기술적 SEO 빠른 성과
SEO에게 가장 어려운 일 중 하나는 우선순위 설정입니다. 모범 사례는 많지만, 어떤 변경은 다른 변경보다 순위와 트래픽에 더 큰 영향을 줍니다. 다음은 우선순위를 두는 것을 추천하는 프로젝트들입니다.
인덱싱 확인
사람들이 찾기를 원하는 페이지가 Google에서 인덱싱될 수 있도록 하세요. 앞의 두 장이 크롤링과 인덱싱에 관한 내용이었던 것은 우연이 아닙니다.
사이트 감사의 Indexability 보고서에서 인덱싱할 수 없는 페이지와 그 이유를 확인할 수 있습니다. Ahrefs 웹마스터 툴즈에서 무료로 사용할 수 있습니다.
무료 기술적 SEO 감사를 실행하세요
가입하면 Ahrefs 웹마스터 툴즈 ↗를 무료로 이용할 수 있습니다
유실된 링크 되찾기
웹사이트는 시간이 지나며 URL을 바꾸는 경우가 많습니다. 많은 경우, 이런 오래된 URL은 다른 웹사이트에서 오는 링크를 가지고 있습니다. 이를 현재 페이지로 리다이렉트하지 않으면, 그 링크는 사라져 내 페이지에 더 이상 반영되지 않습니다. 이런 리다이렉트는 지금이라도 늦지 않았고, 잃었던 가치를 빠르게 되찾을 수 있습니다. 이는 여러분이 하게 될 링크 빌딩 중 가장 빠른 작업이라고 생각하셔도 됩니다.
Ahrefs의 사이트 익스플로러를 사용하면 잃어버린 링크를 되찾을 기회를 찾을 수 있습니다. 도메인을 입력하고 링크 수 기준 상위 보고서로 이동한 다음, ”404 not found” HTTP 응답 필터를 추가하세요. 저는 보통 이를 ”참조 도메인” 기준으로 정렬합니다.
1800flowers.com의 경우는 다음과 같습니다:
archive.org에서 첫 번째 URL을 확인해 보니, 이전에는 어머니의 날 페이지였습니다. 그 페이지 하나를 현재 버전으로 리다이렉트하면 59개의 서로 다른 웹사이트에서 오는 225개의 링크를 되찾을 수 있습니다. 그리고 이런 기회는 더 많이 있습니다.
저는 리디렉션을 매칭하는 데 도움이 되는 스크립트도 만들었습니다. 겁먹지 마세요. 파일 몇 개를 다운로드한 다음 업로드하기만 하면 됩니다. Colab 노트북이 전체 과정을 안내하고, 번거로운 작업은 대신 처리해 줍니다.
유실된 가치를 되찾기 위해, 오래된 URL은 현재 위치로 301 리다이렉트하는 것이 좋습니다.
알고 계셨나요?
301 리다이렉트는 영구 리다이렉트입니다. 리다이렉트된 URL을 가리키는 모든 링크는 Google의 관점에서 새 URL에 반영됩니다.[3]
내부 링크 추가
내부 링크는 사이트의 한 페이지에서 다른 페이지로 이어지는 링크입니다. 내부 링크는 페이지가 발견되도록 돕고, 페이지가 더 잘 순위에 오르도록도 도와줍니다. 저희는 사이트 감사 안에 Internal Link Opportunities라는 도구가 있어 이런 기회를 빠르게 찾을 수 있게 해줍니다.
이 도구는 사이트에서 이미 순위가 있는 키워드의 언급을 찾아 작동합니다. 그런 다음 이를 문맥에 맞는 내부 링크 기회로 제안합니다.
예를 들어 이 도구는 중복 콘텐츠 가이드에서 79faceted navigation98 언급을 보여줍니다. 사이트 감사는 faceted navigation에 대한 페이지가 있다는 것을 알고 있으므로, 해당 페이지로 내부 링크를 추가하라고 제안합니다.
스키마 마크업 추가하기
스키마 마크업은 검색 엔진이 콘텐츠를 더 잘 이해하도록 돕는 코드이며, 검색 결과에서 웹사이트가 돋보이도록 도와주는 다양한 기능을 작동시킵니다. 또한 LLM이 페이지 콘텐츠를 정확하게 해석하는 데도 도움이 될 수 있습니다. Google에는 사이트가 사용 자격을 갖추기 위해 필요한 다양한 검색 기능과 스키마를 보여주는 search gallery가 있습니다.
AI 검색을 위한 기술적 SEO
AI는 콘텐츠가 발견되고 검색자에게 표시되는 방식을 바꿨지만, 여전히 크롤링 가능하고 구조가 잘 잡혀 있으며 신뢰할 수 있는 웹페이지라는 기반에 의존합니다. 또한 콘텐츠를 만들고 최적화하는 방식도 바꾸고 있습니다.
AI에 특화된 몇 가지 기술적 요소에 주의를 기울이면, 사람들이 어디에서 정보를 검색하든 계속 보이는 데 도움이 될 수 있습니다.
LLM이 사이트에 접근할 수 있도록 만들기
검색 엔진과 마찬가지로, LLM도 웹사이트를 크롤링하고 콘텐츠에 접근할 수 있어야 합니다. 다만 검색 엔진 크롤러와는 작동 방식이 조금 다릅니다.
예를 들어 대부분의 LLM은 웹사이트 구축에 흔히 쓰이는 코딩 언어인 JavaScript를 렌더링하지 않습니다. 핵심 콘텐츠나 탐색 메뉴가 JavaScript 로드 이후에만 나타난다면, 일부 AI 크롤러는 이를 보지 못할 위험이 있습니다. 따라서 AI 검색에서 노출되길 바라는 미션 크리티컬 콘텐츠에는 JavaScript 사용을 피하는 것이 좋습니다.
또한 타사 도구가 AI 크롤러의 웹사이트 접근을 차단하고 있는지도 확인해 볼 만합니다.
예를 들어 Cloudflare는 웹사이트 소유자가 AI 플랫폼이 학습 데이터셋을 위해 콘텐츠를 스크랩할 수 있는지 여부를 제어할 수 있도록 하는 새로운 기능을 도입했습니다.
기본 설정은 AI 크롤러가 콘텐츠에 접근하지 못하도록 차단합니다. 하지만 AI 검색 결과에서 가시성을 최대화하려면 이 설정을 꺼야 합니다.
환각된 URL 리디렉션
AI 검색 시스템이 존재하지 않는 내 도메인의 URL을 인용할 수도 있습니다. Ahrefs의 Web Analytics에서 AI 검색 트래픽을 받는 페이지를 확인하면 이런 URL을 찾을 수 있습니다:
이 페이지들 중 하나라도 404 에러로 연결된다면, AI 시스템이 URL을 환각으로 만들어냈을 수 있습니다. 트래픽 손실을 피하려면 해당 URL을 관련 있는 정상 페이지로 리다이렉트할 수 있습니다.
정기적인 모니터링은 사용자 불만을 방지하고 브랜드 권위를 보호합니다.
AI 콘텐츠 탐지
웹사이트 콘텐츠를 만드는 데 AI를 사용하는 것은 괜찮지만, AI 콘텐츠가 너무 많으면 전통적인 검색 시스템과 AI 검색 시스템에서 콘텐츠의 가시성을 제한하는 스팸 신호로 보일 수 있습니다.
사이트 익스플로러 > 페이지 검사에서 Ahrefs의 AI 감지기를 사용하면, 머신이 콘텐츠에 사용된 AI 수준을 어떻게 해석할지 확인할 수 있습니다.
또한 상위 페이지 보고서에서 대량으로 확인해, 재작성해야 할 수 있는 기존 페이지를 찾아볼 수도 있습니다:
AI 도구가 주입한 코드
AI를 사용해 웹사이트를 구축하거나 새 기능을 추가했다면, AI 사용 사실을 드러내는 추가 HTML 코드가 포함될 수 있습니다.
한 사례로, Yoast SEO의 버그가 페이지에 AI 관련 클래스를 숨겨서 삽입해, 검색 엔진이 AI가 개입했다는 사실을 쉽게 알아차릴 수 있었습니다.
AI 도구를 사용해 온페이지 변경을 한다면, 사이트의 소스 코드를 확인해 예상치 못한 내용이 추가되지 않았는지 확인하세요. 이런 숨겨진 79지문98은 정기적인 코드 리뷰와 업데이트 게시 전 테스트로 피할 수 있습니다.
추가 기술적 SEO 프로젝트
이 장에서 다룰 프로젝트들은 모두 집중할 만한 좋은 것들이지만, 앞부분의 "빠른 성과" 프로젝트보다 더 많은 작업이 필요하고 이점은 더 적을 수 있습니다. 그렇다고 해서 하지 말라는 뜻은 아닙니다. 다양한 프로젝트의 우선순위를 어떻게 정할지 감을 잡는 데 도움이 되도록 설명하는 것입니다.
페이지 경험 시그널
이는 덜 중요한 순위 요인이지만, 사용자 관점에서는 여전히 확인해 볼 만한 부분입니다. 사용자 경험(UX)에 영향을 미치는 웹사이트의 요소를 다룹니다.
페이지 경험을 위한 Google의 검색 신호
https://ahrefs.com/blog/core-web-vitals/
핵심 웹 지표
코어 웹 바이탈은 사용자 경험을 측정하는 데 사용되는 Google의 페이지 경험 시그널에 포함된 속도 지표입니다. 이 지표는 Largest Contentful Paint (LCP)로 시각적 로드를, Cumulative Layout Shift (CLS)로 시각적 안정성을, First Input Delay (FID)로 상호작용성을 측정합니다.
HTTPS
HTTPS는 공격자가 브라우저와 서버 간 통신을 가로채거나 변조하지 못하도록 보호합니다. 이를 통해 오늘날 WWW 트래픽의 대부분에 기밀성, 무결성, 인증을 제공합니다. 페이지는 HTTP가 아니라 HTTPS로 로드되도록 해야 합니다.
주소 표시줄에 “자물쇠” 아이콘이 보이는 웹사이트는 HTTPS를 사용하고 있습니다.
모바일 친화성
간단히 말해, 이 기능은 웹페이지가 모바일 기기에서 제대로 표시되고 사람들이 쉽게 사용할 수 있는지 확인합니다.
사이트가 얼마나 모바일 친화적인지 어떻게 알 수 있을까요? 구글 서치 콘솔의 ”모바일 사용성” 보고서를 확인하세요.
이 보고서는 페이지에 모바일 친화성 문제가 있는지 알려줍니다.
인터스티셜
인터스티셜은 콘텐츠가 보이지 않게 막습니다. 이는 메인 콘텐츠를 덮는 팝업으로, 사용자는 사라지기 전에 이를 조작해야 할 수도 있습니다.
Hreflang — 여러 언어용
Hreflang은 웹페이지의 언어와 지역 타겟팅을 지정하는 데 사용되는 HTML 속성입니다. 동일한 페이지의 여러 언어 버전이 있다면, hreflang 태그를 사용해 Google 같은 검색 엔진에 이러한 변형을 알려줄 수 있습니다. 이는 사용자에게 올바른 버전을 제공하는 데 도움이 됩니다.
Ahrefs는 이제 사이트 감사에서 시각적인 hreflang 링크 그래프를 제공해 hreflang 구현을 더 쉽게 도와줍니다.
이 hreflang 그래프는 페이지의 모든 언어 변형을 보여주고 설정 문제를 강조 표시합니다. 또한 잘못된 언어 코드, 누락된 자기 링크, 상호 태그의 부재 같은 오류를 표시하고 이를 수정하는 방법에 대한 명확한 안내를 제공합니다.
일반 유지보수/웹사이트 상태
이 작업들은 순위에 큰 영향을 주지 않을 가능성이 높지만, 사용자 경험을 위해 일반적으로 수정해 두면 좋은 것들입니다.
깨진 링크
깨진 링크는 존재하지 않는 리소스를 가리키는 사이트 내 링크입니다. 이는 내부 링크(즉, 같은 도메인의 다른 페이지)일 수도 있고, 외부 링크(즉, 다른 도메인의 페이지)일 수도 있습니다.
Links 보고서에서 사이트 감사를 사용하면 웹사이트의 깨진 링크를 빠르게 찾을 수 있습니다. Ahrefs 웹마스터 툴즈에서 무료로 사용할 수 있습니다.
리디렉션 체인
리디렉션 체인은 초기 URL과 대상 URL 사이에서 발생하는 일련의 리디렉션입니다.
Redirects 보고서에서 사이트 감사를 사용하면 웹사이트의 리다이렉트 체인을 빠르게 찾을 수 있습니다. Ahrefs 웹마스터 툴즈에서 무료로 사용할 수 있어요.
기술적 SEO 도구
이 도구들은 웹사이트의 기술적 측면을 개선하는 데 도움이 됩니다.
구글 서치 콘솔(이전의 Google 웹마스터 툴즈)은 Google에서 제공하는 무료 서비스로, 검색 결과에서 내 웹사이트가 어떻게 표시되는지 모니터링하고 문제를 해결하는 데 도움이 됩니다.
기술적 오류를 찾아 수정하고, 사이트맵을 제출하고, 구조화된 데이터 문제를 확인하는 등 다양한 용도로 사용할 수 있습니다.
Bing과 Yandex에는 각자 버전이 있고, Ahrefs에도 있습니다. Ahrefs 웹마스터 툴즈는 웹사이트의 SEO 성과를 개선하는 데 도움이 되는 무료 도구입니다. 다음을 할 수 있습니다:
- 웹사이트의 SEO 상태를 모니터링하세요.
- 100개 이상의 SEO 문제 점검하기.
- 모든 백링크 확인하기.
- 랭킹되는 모든 키워드를 확인하세요.
- 내 페이지가 얼마나 많은 트래픽을 받고 있는지 확인하세요.
- 내부 링크 기회를 찾으세요.
이는 구글 서치 콘솔의 한계를 보완하기 위한 우리의 답입니다.
Google의 모바일 친화성 테스트는 방문자가 모바일 기기에서 내 페이지를 얼마나 쉽게 사용할 수 있는지 확인합니다. 또한 읽기에는 글자가 너무 작다든지, 호환되지 않는 플러그인을 사용한다든지 하는 구체적인 모바일 사용성 문제도 식별합니다.
모바일 친화성 테스트는 Google이 페이지를 크롤링할 때 무엇을 보는지 보여줍니다. 또한 Rich Results Test를 사용하면 데스크톱 또는 모바일 기기에서 Google이 보는 콘텐츠를 확인할 수 있습니다.
Chrome DevTools는 Chrome에 내장된 웹페이지 디버깅 도구입니다. 이를 사용해 페이지 속도 문제를 디버깅하고, 웹페이지 렌더링 성능을 개선하는 등 다양한 작업을 할 수 있습니다.
기술적 SEO 관점에서는 활용처가 무궁무진합니다.
PageSpeed Insights는 웹페이지의 로딩 속도를 분석합니다. 성능 점수와 함께, 페이지가 더 빠르게 로드되도록 만드는 실행 가능한 권장사항도 보여줍니다.
핵심 요점
- 콘텐츠가 색인되지 않으면 검색 엔진에서 발견되지 않습니다.
- 검색 트래픽에 영향을 주는 문제가 발생했다면, 이를 해결하는 것이 우선순위가 될 수 있습니다. 하지만 대부분의 사이트라면, 콘텐츠와 링크에 시간을 쓰는 편이 더 나을 가능성이 큽니다.
- 가장 큰 영향을 주는 기술 프로젝트 중 상당수는 인덱싱이나 링크와 관련이 있습니다.
- 기술적 SEO는 AI 검색에서도 여전히 중요합니다. 구조가 잘 잡히고 크롤링 가능한 페이지는 AI 시스템이 콘텐츠를 찾고, 이해하고, 노출하는 데 도움이 됩니다.
참조
- 79Is a crawl-delay rule ignored by Googlebot?98. Google Search Central. 2017년 12월 21일
- 79Change Googlebot crawl rate98. Google. 2022년 9월 9일에 검색
- "30x 리다이렉트는 더 이상 페이지 순위를 잃지 않는다". Gary Illyes. 2016년 7월 26일
Patrick Stox는 Ahrefs의 제품 자문, 기술적 SEO, 브랜드 앰배서더입니다. 2021 Web Almanac의 SEO 챕터에서 수석 저자였고, 2022 SEO 챕터의 리뷰어이기도 했습니다. 또한 Ahrefs의 초보자를 위한 SEO 책(SEO Book For Beginners)을 공동 집필했고, The Art of SEO 4판의 기술 검토 편집자였습니다. Triangle SEO Meetup의 운영자이며 Tech SEO Connect 컨퍼런스에 참여하고, 기술적 SEO Slack 그룹을 운영하고, Reddit의 /r/TechSEO에서 모더레이터로 활동하고 있습니다.
단계별로 SEO 마스터하기
검색 엔진이 작동하는 방식
SEO를 배우기 전에 검색 엔진이 어떻게 작동하는지 이해해야 합니다.
SEO 기본
SEO 성공을 위한 웹사이트 설정법을 배우고, SEO의 네 가지 핵심 요소를 파악해 보세요.
키워드 조사
SEO의 시작점은 타겟 고객이 무엇을 검색하고 있는지를 이해하는 것입니다.
SEO 콘텐츠
검색 엔진에서 순위에 오르는 콘텐츠를 만드는 방법을 알아보세요.
온페이지 SEO
여기에서 검색 엔진이 페이지를 이해하도록 도와주기 위해 페이지를 최적화할 수 있습니다.
링크 빌딩
링크는 검색 엔진이 새 페이지를 찾고 그 "권위"를 판단하는 방법입니다. 링크 없이는 경쟁이 치열한 키워드에서 높은 순위를 얻기 어렵습니다.
기술적 SEO
구글이 당신의 웹사이트에 접근하고 이해하는 것을 방해하는 기술적 실수가 없도록 확인하는 것이 중요합니다.
SEO에게 AI란?
오늘날 SEO에 대해 이야기하면서 생성형 AI를 언급하지 않을 수는 없습니다.