답변 엔진에 맞게 웹사이트를 최적화하는 방법

AI 크롤러가 내 페이지를 읽을 수 없다면, 이 가이드의 어떤 팁도 소용이 없습니다. 차단된 페이지는 인용될 수 없고, 이런 일은 종종 실수로 발생합니다.

약 1억 4천만 개의 웹사이트를 분석한 결과, GPTBot이 현재 가장 많이 차단되는 AI 봇(사이트의 5.89%)이었고 ClaudeBot이 그 뒤를 바짝 추격하고 있었습니다.

Cloudflare는 기본적으로 AI 플랫폼을 차단하므로, 자신도 모르는 사이에 CDN이 사이트에 대한 AI 접근을 차단하고 있지는 않은지 확인하세요.

‘AI 크롤러를 허용하는 것’은 한 번의 결정으로 끝나는 일이 아닙니다. 각 플랫폼이 서로 다른 일을 하는 여러 봇을 운영하기 때문입니다.

OpenAI만 해도 세 가지를 운영합니다.

• GPTBot은 학습을 위해 콘텐츠를 수집합니다
• OAI-SearchBot은 ChatGPT가 정보를 검색해 가져오는 데 사용하는 검색 인덱스를 구축합니다
• ChatGPT-User는 대화 도중 누군가가 어떤 페이지에 대해 물으면 해당 페이지를 실시간으로 가져옵니다

각 봇을 차단했을 때의 장단점은 서로 다릅니다. GPTBot을 차단하면 콘텐츠가 다음 모델의 학습 데이터에서 제외되는데, 보통 콘텐츠 발행자들이 고려하는 결정이 바로 이것입니다. OAI-SearchBot을 차단하면 ChatGPT가 검색하는 인덱스에서 제외되어, 현재 얻을 수 있는 인용과 외부 유입 트래픽을 잃게 됩니다. GPTBot만 차단하려다가 실수로 OAI-SearchBot까지 차단하는 사이트가 많습니다.

현재 상황을 가장 빠르게 확인하는 방법은 AI 크롤러 액세스 체커 같은 도구를 사용하는 것입니다. 이 도구는 robots.txt를 읽고 어떤 크롤러의 접근이 허용되는지 알려줍니다.

접근이 허용된 봇뿐 아니라 실제로 방문하는 봇을 확인하려면 Ahrefs의 봇 애널리틱스를 살펴보세요. Cloudflare를 통해 수집한 서버 측 데이터로 12개 봇 카테고리의 방문을 추적하고, AI 봇 전용 필터도 제공합니다. 따라서 사이트에 JavaScript를 추가하지 않아도 사용할 수 있습니다.

AI 크롤러는 원시 HTML을 읽는 경향이 있으며, 대부분 브라우저처럼 JavaScript를 렌더링하지 않습니다.

즉, 클라이언트 측 JS가 실행된 뒤에야 표시되는 콘텐츠는 AI 크롤러가 보지 못할 수 있다는 뜻입니다.

안전하게 가려면 서버 사이드 렌더링을 고수해 AI 가시성을 확보할 가능성을 최대한 높이세요.

로딩이 느린 페이지는 기존 검색에서의 성과에 악영향을 줄 수 있지만, 그보다도 답변 엔진에서는 페널티가 더 큰 것으로 보입니다. 페이지 속도는 콘텐츠가 모델의 컨텍스트 윈도에 포함될 수 있는지에도 영향을 미치는 것으로 보입니다.¹

사이트 감사에서 첫 바이트 수신 시간(TTFB)을 기준으로 페이지 속도를 확인하세요.

llms.txt는 루트 도메인(예: website.com/llms.txt)에 두는 Markdown 파일에 대해 제안된 표준으로, 주요 문서·정책·제품 분류 체계 등의 위치를 LLM에 알려 줍니다. 원리상 언어 모델을 위한 robots.txt와 비슷합니다.

하지만 실제로는 OpenAI, Anthropic, 구글 등 주요 LLM 제공업체 중 어느 곳도 이를 읽겠다고 하지 않았습니다.

웹사이트에 llms.txt를 추가했을 때 실제로 어떤 일이 일어나는지 확인했습니다. Ahrefs 웹 애널리틱스를 사용하는 137,000개 도메인을 대상으로 조사한 결과, 28%가 llms.txt 파일을 게시하고 있었습니다. 유효한 파일을 가진 약 38,000개 중, 우리가 측정한 한 달 동안 해당 파일에 대한 요청을 한 번도 받지 않은 곳이 97%였습니다.

실제로 조회된 소수의 파일에 대한 요청을 보면, 96%가 봇에서 발생했습니다. 링크 미리보기 봇인 Slackbot이 PerplexityBot보다 llms.txt를 더 자주 가져갔습니다. 간단히 말해, 주요 AI 검색 엔진들은 이를 사용하지 않는 것으로 보입니다.

구글은 이 점을 분명히 밝혀왔습니다. 생성형 AI 기능 최적화 가이드에는 말 그대로 “오해 바로잡기”라는 제목의 섹션이 있는데, llms.txt 같은 기계 판독 가능 파일이 생성형 AI 검색에 노출되기 위해 필요하지는 않다고 사이트 소유자에게 알려 줍니다. John Mueller는 더 나아가 이를 예전의 keywords 메타 태그에 비유했습니다.

그럼 만들어야 할까요? 개발자 문서를 발행한다면 약 10분이면 되고, 그럴듯한 활용 사례도 있습니다. Mueller는 이를 AI 코딩 도구가 문서를 파싱할 때 ‘아마 토큰을 조금 아끼기 위한 임시 보조 수단’이라고 설명했습니다. 그 외의 경우에는 입증된 성과 없이 노력을 들이게 되고, 경쟁사가 콘텐츠를 통째로 스크래핑하기 쉽게 만든다는 작은 단점도 있습니다.

AI 어시스턴트는 여러분의 웹사이트로 연결되는 링크를 지어내곤 하며, 이런 일은 자주 발생합니다. 저희는 ChatGPT, Perplexity, Copilot, Gemini, Claude, Mistral이 인용한 1,600만 개 URL의 HTTP 상태를 확인했고, AI 어시스턴트가 구글 검색보다 방문자를 404 페이지로 보내는 경우가 2.87배 더 많다는 사실을 발견했습니다.

ChatGPT는 압도적으로 가장 문제가 큽니다. 클릭된 URL 중 1.01%가 404를 반환하는데, 구글의 기준치인 0.15%와 비교됩니다.

Perplexity(0.87%)와 Gemini(0.86%)는 인용된 URL에 대한 구글 자체 비율 0.84%와 거의 정확히 일치합니다. 두 서비스 모두 구글 인덱스에서 가져오므로, 자체적으로 만들어내기보다는 구글의 깨진 링크를 그대로 물려받는다는 점에서 그럴 만합니다.

만들어낸 URL은 기존 패턴을 바탕으로 추론됩니다. 저희 사이트에서 흔히 환각으로 생성되던 URL은 ahrefs.com/keywords였는데, 저희가 키워드를 계속 다루다 보니 모델이 그런 페이지가 반드시 존재할 거라고 가정했기 때문입니다. 하지만 그런 페이지는 없습니다.

이는 AEO에서 추가 비용 없이 성과를 얻을 수 있는 몇 안 되는 기회 중 하나입니다. 제품에 실제로 관심이 있는 사람이 질문을 하고 사이트로 안내받았지만, 막다른 페이지에 도달한 것이죠. 이런 경우는 다음 세 가지 유형으로 나뉩니다.

• AI가 지어낸 URL. 모델이 사이트의 URL 구조를 바탕으로 만들어 낸, 실제로는 존재하지 않는 페이지의 주소.
• 오래된 URL. 한때 존재했지만 학습 데이터나 다른 오래된 데이터 소스에 남아 있는 페이지.
• 오타가 있거나 변형된 URL. 실제 페이지의 URL과 거의 같지만 일부가 다른 주소.

그래서 웹 애널리틱스에 필터를 추가해 클릭 두 번만으로 환각 URL을 찾을 수 있게 했습니다. 월 최대 100만 이벤트까지 무료로 쓸 수 있는 간단한 구글 애널리틱스 대안을 찾고 있다면 확인해 보세요.

AI가 지어낸 URL이 계속 요청된다면, 방문자가 사이트에 어떤 페이지가 있을 것으로 기대하는지 모델이 알려주는 셈입니다.

이 가이드의 모든 전술은 결국 한 가지에 달려 있습니다. AI 시스템이 귀사 브랜드를 뚜렷한 엔티티로 인식하느냐는 점입니다.

구글 지식 그래프(540억 개의 엔티티와 이들 간의 관계에 대한 1조 6,000억 개 이상의 사실을 담은 데이터베이스)는 더 이상 지식 패널을 뒷받침하는 엔진에만 머물지 않습니다.

이제 AI 개요, AI 모드, Gemini의 핵심 인프라가 됐습니다.

사이트 전반의 일관된 신호, 구조화 데이터, 권위 있는 제3자 출처를 통해 브랜드가 하나의 엔티티로 명확히 확립돼 있지 않다면, 일반 검색 결과의 파란색 링크뿐 아니라 AI 답변에서도 보이지 않게 될 위험이 있습니다.

스키마는 AI 가시성을 빠르게 올리는 방법으로 자주 소개되곤 하고, 표면적인 상관관계도 그럴듯해 보입니다. AI가 인용한 페이지는 JSON-LD를 갖고 있을 가능성이 거의 3배나 높습니다.

하지만 상관관계가 곧 인과관계는 아닙니다. 우리는 JSON-LD를 추가한 1,885개 페이지를 4,000개의 대조군과 비교해 추적했는데, AI 모드나 ChatGPT에서는 의미 있는 상승이 없었고, AI 개요에서는 스키마 때문이라고 단정할 수 없는 소폭 하락이 있었습니다.

그럼 스키마는 쓸모가 없을까요? 아닙니다. 다만 효과가 서서히, 간접적으로 나타나므로 단기간에 성과를 내는 전략으로 보기는 어렵습니다.

구글의 Knowledge Graph API 또는 무료 체커를 사용해 구글이 이미 귀사를 인식하고 있는지 확인할 수 있습니다. 또한 어떤 엔티티 유형으로 분류했는지, 그리고 속성이 올바른지도 확인할 수 있습니다.

예를 들어 Carl Hendy의 Knowledge Graph Tool은 사람, 기업, 제품, 장소 등 다양한 엔티티에 대한 결과를 보여줍니다.

그다음에는 권위 있는 매체에서 언급을 얻고, 어디서든 사실을 일관되게 유지하세요. 사이트, 프로필, 서드파티 목록 전반에서 이름, 설명, 카테고리를 동일하게 맞추는 것입니다.

그다음 스키마가 적합한 페이지에 추가하되, 엔티티와 그 관계를 정의하는 유형을 우선 적용하세요.

• Wikipedia, Wikidata, 소셜 프로필로 연결되는 Organization 및 sameAs 스키마

• 사이트 작성자를 위한 Person 스키마

• 제공하는 서비스/제품을 위한 Product 스키마

마지막으로 이 생각을 전하고 싶습니다. 여러분이 영향력을 미치려는 ‘독자’ 가운데 점점 더 많은 수가 사실은 AI 에이전트로, 잠재고객을 대신해 탐색하고 구매하고 있습니다.

실제로 2026년 6월, Cloudflare CEO Matthew Prince는 에이전틱(봇/크롤러/에이전트) 트래픽이 인터넷 역사상 처음으로 50%를 넘어섰다고 밝혔습니다.^{2, 3}

에이전틱 AI는 더 이상 일부 특수한 사례나 신기한 기술에 머무르지 않습니다. 에이전트 운영 비용이 달러에서 센트 단위로 낮아지는 동안, 관련 검색량은 지난 3년간 84배로 늘었습니다.

아직은 AI 에이전트만을 위해 웹사이트를 완전히 다시 만들 필요는 없습니다. 하지만 사람만을 위한 콘텐츠를 만들고 로봇은 신경 쓰지 말라는 조언은 이제 예전만큼 유효하지 않을 수 있습니다.

이 장은 사람이 신뢰하는 AI에 영향을 미치는 방법을 다룹니다. 에이전트 간 마케팅은 이 접근법에서 한 걸음 더 나아간 개념입니다.