답변 엔진에 맞게 웹사이트를 최적화하는 방법

AI 크롤러가 내 페이지를 읽을 수 없다면, 이 가이드의 어떤 팁도 소용이 없습니다. 차단된 페이지는 인용될 수 없고, 이런 일은 종종 실수로 발생합니다.

약 1억 4천만 개의 웹사이트를 분석한 결과, GPTBot이 현재 가장 많이 차단되는 AI 봇(사이트의 5.89%)이었고 ClaudeBot이 그 뒤를 바짝 추격하고 있었습니다.

Cloudflare는 기본적으로 AI 플랫폼을 차단하므로, CDN이 모르는 사이에 사용자를 제외하도록 설정되어 있지는 않은지 확인하세요.

‘AI 크롤러를 허용하는 것’은 한 번의 결정으로 끝나는 일이 아닙니다. 각 플랫폼이 서로 다른 일을 하는 여러 봇을 운영하기 때문입니다.

OpenAI만 해도 세 가지를 운영합니다:

• GPTBot은 학습을 위해 콘텐츠를 수집합니다
• OAI-SearchBot은 ChatGPT가 가져오는 검색 인덱스를 구축합니다
• ChatGPT-User는 대화 도중 누군가가 어떤 페이지에 대해 물으면 해당 페이지를 실시간으로 가져옵니다

둘은 감수해야 할 부분이 서로 다릅니다. GPTBot을 차단하면 콘텐츠가 다음 모델의 학습 데이터에서 제외되는데, 보통 퍼블리셔들이 저울질하는 결정이 바로 이것입니다. OAI-SearchBot을 차단하면 ChatGPT가 검색하는 인덱스에서 제외되며, 이것이 오늘날 인용과 추천 트래픽을 잃게 만드는 요인입니다. 첫 번째만 의도했는데도 실수로 두 번째를 차단하는 사이트가 꽤 많습니다.

현재 상황을 가장 빠르게 확인하는 방법은 AI 크롤러 접근 권한 검사기 같은 도구를 사용하는 것입니다. 이 도구는 robots.txt를 읽고 어떤 크롤러의 접근이 허용되는지 알려줍니다.

실제로 어떤 봇이 허용되는지가 아니라 어떤 봇이 실제로 방문하는지 확인하려면 Ahrefs의 봇 애널리틱스를 확인하세요. Cloudflare를 통해 서버사이드 데이터를 사용해 전용 AI 필터를 포함한 12개 봇 카테고리 전반의 방문을 추적하므로, 사이트에 어떤 JavaScript도 추가하지 않고 사용할 수 있습니다.

AI 크롤러는 원시 HTML을 읽는 경향이 있으며, 대부분 브라우저처럼 JavaScript를 렌더링하지 않습니다.

즉, 클라이언트 측 JS가 실행된 뒤에야 나타나는 요소는 그들에게 보이지 않을 수 있습니다.

안전하게 가려면 서버 사이드 렌더링을 고수해 AI 가시성을 확보할 가능성을 최대한 높이세요.

로딩이 느린 페이지는 기존 검색에서의 성과에 악영향을 줄 수 있지만, 그보다도 답변 엔진에서는 페널티가 더 큰 것으로 보입니다. 페이지 속도는 모델의 컨텍스트 윈도에 아예 포함될 수 있을지 여부를 결정하는 데에도 도움이 되는 듯합니다.¹

사이트 감사에서 페이지 속도(첫 바이트까지의 시간으로도 알려짐)를 확인하세요:

llms.txt는 루트 도메인(예: website.com/llms.txt)에 두는 Markdown 파일의 제안된 스탠다드로, LLM에 당신의 최고의 콘텐츠가 어디에 있는지(문서, 정책, 제품 택소노미)를 알려 줍니다. 원리상 언어 모델을 위한 robots.txt와 비슷합니다.

하지만 현실적으로는 주요 LLM 제공업체 중 누구도 이를 읽겠다고 약속하지 않았습니다. OpenAI도, Anthropic도, Google도요.

웹사이트에 llms.txt를 추가했을 때 실제로 어떤 일이 일어나는지 확인했습니다. Ahrefs 웹 애널리틱스를 사용하는 137,000개 도메인을 대상으로 조사한 결과, 28%가 llms.txt 파일을 게시하고 있었습니다. 유효한 파일을 가진 약 38,000개 중, 우리가 측정한 한 달 동안 해당 파일에 대한 요청을 한 번도 받지 않은 곳이 97%였습니다.

가져오기에 성공한 소수의 파일을 기준으로 보면 요청의 96%가 봇에서 발생했습니다. Link 미리보기 봇인 Slackbot이 PerplexityBot보다 llms.txt를 더 자주 가져갔습니다. 간단히 말해, 가장 중요한 AI 검색 엔진들은 이를 사용하지 않는 것으로 보입니다.

Google은 이 점을 분명히 밝혀왔습니다. 생성형 AI 기능 최적화 가이드에는 말 그대로 “오해 바로잡기”라는 제목의 섹션이 있는데, llms.txt 같은 기계 판독 가능 파일이 생성형 AI 검색에 노출되기 위해 필요하지는 않다고 사이트 소유자에게 알려 줍니다. John Mueller는 더 나아가 이를 예전의 keywords 메타 태그에 비유했습니다:

그럼 만들어야 할까요? 개발자 문서를 발행한다면 약 10분이면 되고, 그럴듯한 활용 사례도 있습니다. Mueller는 이를 AI 코딩 도구가 문서를 파싱할 때 ‘아마 토큰을 조금 아끼기 위한 임시 보조 수단’이라고 설명했습니다. 그 외의 경우에는 측정 가능한 성과 없이 노력만 들어가고, 경쟁사가 콘텐츠를 통째로 스크래핑하기 쉽게 만든다는 작은 단점도 있습니다.

AI 어시스턴트는 여러분의 웹사이트로 연결되는 Link를 지어내곤 하며, 이런 일은 자주 발생합니다. 저희는 ChatGPT, Perplexity, Copilot, Gemini, Claude, Mistral이 인용한 1,600만 개 URL의 HTTP 상태를 확인했고, AI 어시스턴트가 Google 검색보다 방문자를 404 페이지로 보내는 경우가 2.87배 더 많다는 사실을 발견했습니다.

ChatGPT는 압도적으로 가장 문제가 큽니다. 클릭된 URL 중 1.01%가 404를 반환하는데, Google의 기준치인 0.15%와 비교됩니다.

Perplexity(0.87%)와 Gemini(0.86%)는 인용된 URL에 대한 Google 자체 비율 0.84%와 거의 정확히 일치합니다. 두 서비스 모두 Google 인덱스에서 가져오므로, 자체적으로 만들어내기보다는 Google의 깨진 링크를 그대로 물려받는다는 점에서 그럴 만합니다.

만들어낸 URL은 기존 패턴을 바탕으로 추론됩니다. 우리 사이트에서 흔히 환각으로 생성되던 URL은 ahrefs.com/keywords였는데, 우리가 키워드를 계속 다루다 보니 모델이 그런 페이지가 반드시 존재할 거라고 가정했기 때문입니다. 하지만 그런 페이지는 없습니다.

이건 AEO에서 몇 안 되는, 진짜로 ‘공짜로 얻을 수 있는 성과’ 중 하나입니다. 확실한 의도를 가진 사람이 여러분의 제품을 물어봤고, 사이트로 유입됐지만 막다른 길에서 멈춘 거죠. 이런 경우는 세 가지 유형으로 나뉩니다:

• 환각된 URL. 모델이 URL 구조를 바탕으로 지어낸 페이지입니다.
• 오래된 URL. 한때 존재했지만 학습 데이터나 다른 오래된 데이터 소스에 남아 있는 페이지.
• 오타가 있거나 변형된 URL. 실제 페이지와 거의 비슷한 URL.

그래서 웹 애널리틱스에 필터를 추가해 클릭 두 번만으로 환각 URL을 찾을 수 있게 했습니다. 월 최대 100만 이벤트까지 무료로 쓸 수 있는 간단한 구글 애널리틱스 대안을 찾고 있다면 확인해 보세요:

환각으로 생성된 URL이 계속 요청된다면, 모델이 방문자가 당신에게 기대하는 페이지가 무엇인지 알려주는 것입니다.

이 가이드의 모든 전술은 결국 한 가지에 달려 있습니다. AI 시스템이 당신의 브랜드를 뚜렷한 엔터티로 인식하느냐는 점입니다.

Google 지식 그래프—540억 개의 엔티티와 이들 간의 관계에 대한 1조 6,000억 개 이상의 사실을 담은 데이터베이스—는 더 이상 지식 패널을 뒷받침하는 엔진에만 머물지 않습니다.

이제 AI 개요, AI 모드, Gemini의 핵심 인프라가 됐습니다.

사이트 전반의 일관된 신호, 구조화 데이터, 권위 있는 제3자 출처를 통해 브랜드가 하나의 엔티티로 명확히 확립돼 있지 않다면, 파란 Link뿐 아니라 AI 답변에서도 보이지 않게 될 위험이 있습니다.

스키마는 AI 가시성을 빠르게 올리는 방법으로 자주 소개되곤 하고, 표면적인 상관관계도 그럴듯해 보입니다. AI가 인용한 페이지는 JSON-LD를 갖고 있을 가능성이 거의 3배나 높습니다.

하지만 상관관계가 곧 인과관계는 아닙니다. 우리는 JSON-LD를 추가한 1,885개 페이지를 4,000개의 대조군과 비교해 추적했는데, AI 모드나 ChatGPT에서는 의미 있는 상승이 없었고, AI 개요에서는 스키마 때문이라고 단정할 수 없는 소폭 하락이 있었습니다.

그럼 스키마는 쓸모가 없을까요? 아닙니다. 다만 역할이 느리고 간접적일 뿐, 단기간에 성과를 내는 전술은 아닙니다.

Google의 Knowledge Graph API 또는 무료 체커를 사용해 Google이 이미 당신을 인식하고 있는지 확인할 수 있습니다. 또한 어떤 엔터티 유형으로 분류했는지, 그리고 속성이 올바른지도 확인할 수 있습니다.

예를 들어 Carl Hendy의 Knowledge Graph Tool은 사람, 기업, 제품, 장소 등 다양한 엔터티에 대한 결과를 보여줍니다.

그다음에는 권위 있는 매체에서 언급을 얻고, 어디서든 사실을 일관되게 유지하세요. 사이트, 프로필, 서드파티 목록 전반에서 이름, 설명, 카테고리를 동일하게 맞추는 것입니다.

그다음 자연스러운 곳에 스키마를 추가하되, 엔터티와 그 관계를 정의하는 유형을 우선순위로 두세요:

• Wikipedia, Wikidata, 소셜 프로필로 연결되는 Organization 및 sameAs 스키마

• 사이트 작성자를 위한 Person 스키마

• 제공하는 서비스/제품을 위한 Product 스키마

마지막으로 이 생각을 전하고 싶습니다. 여러분이 영향력을 미치려는 ‘독자’ 가운데 점점 더 많은 수가 사실은 AI 에이전트로, 잠재고객을 대신해 탐색하고 구매하고 있습니다.

실제로 2026년 6월, Cloudflare CEO Matthew Prince는 에이전틱(봇/크롤러/에이전트) 트래픽이 인터넷 역사상 처음으로 50%를 넘어섰다고 밝혔습니다.^{2, 3}

“에이전틱 AI”에 대한 검색은 엣지 케이스나 일시적 유행과는 거리가 멉니다. 에이전트 운영 비용이 달러에서 센트 단위로 떨어지면서, 지난 3년 동안 검색량이 84배 급증했습니다.

아직은 AI 에이전트만을 위해 웹사이트를 완전히 다시 만들 필요는 없습니다. 하지만 사람만을 위한 콘텐츠를 만들고 로봇은 신경 쓰지 말라는 예전 조언은, 예전만큼은 더 이상 통하지 않을 가능성이 큽니다.

이 장은 사람이 신뢰하는 AI에 영향을 미치는 방법을 다루며, 에이전트 간 마케팅은 바로 그것—여기서 한 걸음 더 나아간 개념입니다.