AI 검색 엔진이 작동하는 방식

AI 검색 엔진은 대규모 언어 모델(LLM)을 사용해 정보를 찾고 응답을 생성하는 질의응답 시스템입니다.

전통적인 검색 엔진과 AI 검색 엔진 사이에는 몇 가지 핵심 차이가 있습니다(다만 전통적인 검색 엔진이 더 많은 AI 기능을 통합하면서 이러한 차이는 점점 줄어들고 있습니다):

• 사용자는 일회성 쿼리를 입력하는 대신 후속 질문을 하고 대화를 이어갈 수 있습니다.
• AI 검색 엔진은 링크 목록을 순위별로 반환하는 대신 직접적인 답변과 추천을 제공합니다(그리고 이러한 답변은 수시로 바뀔 수 있습니다).
• 검색 사용자가 웹사이트를 방문하도록 유도하는 대신, 사용자는 채팅 인터페이스에서 질문에 대한 답을 바로 받게 됩니다 (그 결과 웹사이트로 돌아오는 클릭 수가 줄어듭니다).

다음은 ChatGPT, Claude 또는 AI 모드에서 볼 수 있는 것과 비슷한, 전형적인 AI 검색 인터페이스의 모습입니다:

LLM은 방대한 양의 콘텐츠로 학습됩니다. 사실상 Wikipedia 전체, Common Crawl Dataset 전체, Google Books 전체, 그리고 웹상의 수백만, 수천만 페이지에 달하는 콘텐츠를 “읽은” 셈입니다.

이 학습 데이터는 LLM이 세상을 “이해”하는 데 도움을 줍니다. 예를 들어 당신의 헤드폰 회사가 학습 데이터에 관련 맥락에서 여러 번 등장하고, 긍정적인 표현(“가성비 최고”, “헬스장용으로 좋음” 등)과 함께 언급된다면, 헤드폰 관련 프롬프트에 대한 LLM의 응답에서 당신의 회사가 언급될 가능성이 높습니다.

LLM은 두 가지 방식으로 답변을 검증하고 개선할 수 있습니다. 하나는 계산기나 기타 데이터 API 같은 도구를 활용하는 것이고, 다른 하나는 외부 소스에서 추가 정보를 가져오는 것입니다. 이 두 번째 과정은 기술적으로 검색 증강 생성(RAG)이라고 합니다.

사용자가 질문을 입력하면 LLM은 스스로에게 이렇게 묻습니다. “이미 답을 알고 있나, 아니면 추가 정보를 가져와야 하나?” LLM이 다음 토큰을 높은 확신으로 예측할 수 있다면(예: “적혈구는 무슨 일을 하나요?”처럼 크게 변하지 않는 질문) 기본 지식으로 답할 가능성이 큽니다. 확신이 낮다면(예: “가성비 좋은 커피 그라인더 추천은?”처럼 변동 가능성이 큰 질문) 검색 도구를 사용해 인터넷의 다른 출처에서 관련 정보를 찾아올 수 있습니다.

LLM은 다음과 같이 추가 정보가 도움이 될 수 있는 쿼리 유형을 인식하도록 파인튜닝되어 있습니다:

• 모델의 학습 범위 밖 주제: “Ahrefs 키워드 익스플로러가 사용하는 내부 순위 요소는 무엇인가요?”
• 최신 또는 시간 민감형 정보가 필요한 주제: “Google의 가장 최근 주요 업데이트는 무엇이며, 언제 배포되었나요?”
• 웹 검색을 명시적으로 요청하는 주제: “2026년에 인기 있는 링크 빌딩 전술을 인터넷에서 검색해 줘.”
• 출처와 근거를 요청하는 프롬프트: “Google이 알고리즘에서 사용자 참여 신호를 사용한다는 것을 확인할 수 있는 출처를 제공하세요.”

일부 LLM 모델은 추가 검색을 트리거할 가능성도 매우 높습니다(예: "딥 리서치" 모델은 여러 번의 RAG 검색을 트리거하도록 특별히 구성되어 있습니다).

결정적으로, 쿼리 팬아웃은 전통적인 SEO가 AI 가시성에 왜 핵심인지 설명해 줍니다.

ChatGPT, Gemini, Perplexity 같은 AI 어시스턴트는 Google, Bing, Brave와 같은 검색 인덱스를 사용해 최신 정보를 가져옵니다.

검색 제공업체가 중요한 이유는 업체마다 순위 알고리즘, 색인, 커버리지가 다르기 때문입니다. Google 검색에서 브랜드 가시성을 높이면 ChatGPT보다 AI 모드에서의 가시성에 더 도움이 될 수 있는데, ChatGPT는 Bing에 더 크게 의존하기 때문입니다.

LLM이 검색 인덱스에서 관련 페이지를 가져오면 전체를 다 읽지는 않습니다. 대신 페이지를 작은 텍스트

이러한 청크는 보통 각각 수백~수천 단어로, 대부분의 웹페이지에서 아주 일부에 불과합니다. 또한 LLM은 엄격한 컨텍스트 윈도우 제한 하에서 작동합니다. 즉, 사용자 프롬프트, 가져온 모든 청크, 그리고 모델 자체의 응답을 포함해 처리할 수 있는 텍스트 양이 제한됩니다. 따라서 어떤 콘텐츠를 가져오고 포함할지 매우 선별적으로 결정해야 합니다.

예시는 다음과 같습니다:

이것이 AI 검색 엔진이 작동하는 핵심이지만, 여기에는 한 단계 더 복잡한 요소가 있습니다. 바로 개인화입니다.

ChatGPT를 비롯한 AI 검색 엔진은 사용자별로 결과를 개인화할 수 있어, 같은 프롬프트라도 사람에 따라 다른 결과가 생성될 수 있습니다. 개인화는 다음을 포함한 여러 방식의 영향을 받을 수 있습니다:

• 현재 대화 맥락: 같은 채팅의 이전 메시지가 현재 프롬프트에 대한 응답에 영향을 줍니다. 하이킹 장비에서 “내구성”을 중요하게 생각한다고 언급해 두면, 이후 채팅에서 “배낭 추천”을 요청할 때 ChatGPT가 검색 기준에 이 요소를 포함할 것이라고 기대할 수 있습니다.
• 메모리: 많은 LLM은 여러 채팅에 걸쳐 특정 사실이나 선호를 시스템이 유지할 수 있게 해주는 메모리 기능을 갖추고 있습니다. 예를 들어 메모리가 활성화되어 있으면 ChatGPT는 사용자가 공유한 세부 정보(이름이나 관심사 등)를 추론해 기억하고, 이후 대화에서 이를 반영해 응답을 개인화합니다.
• 위치, 시간, 날짜: 많은 AI 검색 엔진은 사용자에 대한 정보를 추론해 이를 바탕으로 응답을 맞춤화할 수 있습니다. 예를 들어 IP 주소를 이용해 대략적인 위치를 파악해(“내 주변 브런치” 같은 쿼리에) 반영하기도 하고, 날짜와 시간도 고려합니다(“캠핑 준비물 리스트”는 겨울에는 4계절 텐트를, 여름에는 3계절 텐트를 추천할 수도 있습니다).
• 시스템 프롬프트: 시스템 메시지에 공유된 특정 선호는 대화에 영향을 미칩니다(시스템 프롬프트에 "나는 비건이라는 걸 기억해"를 추가하면 "건강한 아침 식사 아이디어" 같은 프롬프트에 대한 응답이 달라집니다).