AI 답변의 실수를 발견하고 수정하는 방법

이 글 전반에 걸쳐 Ahrefs 브랜드 레이더를 사용해 AI 답변을 수집하고, 어떤 페이지가 인용되는지 확인하겠습니다. 또한 브랜드 레이더 데이터에 연결되어 팩트체킹 프로세스를 자동화하는, Letaido에서 만든 커스텀 앱도 사용할 겁니다. 이 단계는 선택 사항이지만, 시간을 엄청나게 절약할 수 있습니다.

팩트체크 프로세스의 기반은 두 종류의 프롬프트입니다. 이 둘을 함께 사용하면 이미 알려진 문제는 물론, 미처 찾아볼 생각도 못 했던 오류까지 드러납니다.

팩트 체커는 무엇이 정답인지 알려주지 않으면 오류를 잡아낼 수 없습니다. 바로 그런 역할을 하는 것이 공식 기준 문서입니다. 제품에 대해 검증 가능한 주장을 간단한 목록으로 정리하고, 각 항목마다 이를 증명하는 Link를 함께 넣어 둔 문서입니다.

이 목록은 두 가지 역할을 합니다. 팩트 체커는 이를 기준으로 AI 답변을 비교하고, 사람 검토자는 누군가 작성자에게 이메일을 보내기 전에 같은 목록을 사용해 플래그된 응답이 실제로 문제인지 판단합니다.

잘못된 AI 답변을 찾았다면, 다음 질문은 이것입니다. 그 잘못된 정보는 어디에서 왔을까요?

이런 오류는 수동으로 출처를 추적할 수도 있지만, 수백 개의 답변을 확인하다 보면 금세 시간이 많이 듭니다. 대규모 점검에서는 대부분의 번거로운 작업을 AI가 처리하도록 하는 것을 권장합니다.

모든 잘못된 페이지를 똑같이 쫓아갈 가치가 있는 것은 아닙니다. 수정했을 때 AI 답변을 개선하거나 잠재 구매자에게 직접 도달할 가능성이 가장 높은 페이지를 우선순위로 두세요.

다음은 확인해야 할 주요 신호입니다:

• 심각도: 잘못된 가격, 요금제 접근 권한, 제공 서비스, 제품 제한, 누락된 기능 등 구매 결정에 영향을 줄 수 있는 오류부터 먼저 수정하세요.
• 인용 빈도: 답변이나 플랫폼 전반에서 자주 인용되는 페이지는 한 번만 등장하는 출처보다 영향력이 더 큽니다.
• 인용 안정성: 반복 점검에서 꾸준히 등장하는 출처는 한 번만 나타나는 출처보다 더 가치가 있습니다.
• 자연 검색 트래픽: 의미 있는 검색 트래픽이 있는 페이지는 전통적인 검색과 AI 답변을 통해 모두 구매자에게 도달할 수 있습니다.
• 권위: 참조 도메인과 도메인 등급은, 특히 해당 페이지가 자주 인용되고 관련성도 높을 때, 근거를 더 강화할 수 있습니다.
• 관계: 여러분이나 동료가 이미 해당 작성자를 알고 있나요? 누군가 소개해 줄 수 있나요? 그 매체가 이전에 여러분에게 답변한 적이 있나요? 예를 들어, 우리 캠페인에서는 Glen이 한 사이트에 접근하기에 적합한 사람이었는데, 그들과 이미 관계가 있었기 때문입니다. 또 다른 경우에는 인용이 우리가 이미 관계를 맺고 있던 인플루언서에게서 나왔기 때문에, Partnerships 팀이 아웃리치를 담당하는 게 가장 적합했습니다.

그런 정보 중 일부는 브랜드 레이더에서 확인할 수 있습니다:

또한 Letaido 앱을 사용 중이라면, 데이터는 브랜드 레이더에서 가져와 영향을 받은 페이지 바로 옆에 표시됩니다:

아웃리치하고 싶은 페이지를 찾았다면, 다음 단계는 실제로 그 페이지에 책임이 있는 사람이 누구인지 파악하는 것입니다.

페이지 수가 적을 때는 AI 어시스턴트에서 제공되는 스탠다드 웹 가져오기 도구만으로도 보통 페이지를 불러와 작성자나 연락처 정보를 찾기에 충분합니다.

하지만 규모가 커지면 URL을 하나씩 확인하는 건 금방 비현실적이 됩니다. 보통은 Apify 같은 스크래핑 API나 다른 형태의 페이지 HTML 소스를 쓰고 싶어질 겁니다.

앱은 먼저 Ahrefs에 저장된 스냅샷을 시도합니다. 실패하면 Apify를 시도하고, 인용된 페이지에서 연락처를 찾을 수 없으면 (링크되어 있다면) 작성자 페이지로 이동해 거기서 다시 시도합니다.

작성자로 명시된 사람부터 시작하세요. 기사 바이라인과 작성자 페이지를 먼저 확인한 다음, 연락할 방법이 필요하다면 LinkedIn이나 X 프로필을 찾아보세요.

작성자를 찾을 수 없거나 이미 그곳을 떠났다면 한 단계 위로 올라가세요. 매체라면 편집자나 콘텐츠 책임자일 수 있습니다. 작은 회사라면 창업자나 마케팅 책임자가 가장 적합한 연락처일 수 있고요.

최후의 수단으로는 회사의 일반 문의처나 지원 채널을 이용해, 페이지 또는 콘텐츠를 관리하는 담당자에게 메시지를 전달해 달라고 요청하세요.

HeyReach나 BuzzSumo 같은 도구는 누락된 연락처 정보를 보완하고 접근할 만한 사람을 식별하는 데 도움이 될 수 있습니다. 이들 중 다수는 API 또는 MCP를 제공하므로, 기능을 AI 지원 프로세스에 연결해 사용할 수 있습니다.

아웃리치는 요구가 아니라 도움이 되도록 하세요. 제품을 다뤄준 것에 대해 감사 인사를 전하고, 구체적인 오류 1~2개를 짚어주며, 올바른 정보를 확인할 수 있는 신뢰할 만한 출처로 Link를 걸고, 페이지를 업데이트하라는 압박은 전혀 없다는 점을 분명히 하면 됩니다.

예를 들어, 우리가 보낸 메시지 중 하나는 다음과 같습니다:

이는 대화를 시작하기 위한 진입장벽을 낮춰주지만, 받는 사람이 수정의 가치를 보기 전에 먼저 답장을 요청하는 것이므로 효과가 떨어질 수도 있습니다.

답이 없으면 한 번만 추가로 연락하세요. 그다음에는 목록에 있는 다음 페이지로 넘어가면 됩니다. 실제로 저희의 후속 메시지 중에는 효과가 있었던 것도 있었어요.

아웃리치를 위한 몇 가지 실용적인 팁을 더 소개합니다.

• 친절하게 접근하세요. 작성자가 허위 정보를 퍼뜨린다고 비난하거나, 평판에 해를 끼치겠다고 위협하지 마세요.

• 작성자가 악의적으로 행동했다고 가정하기보다, 해당 페이지가 오래되어 정보가 낡았다고 가정하세요.

• 요청은 구체적으로 하세요. 확인된 수정 1건이 불만 목록을 길게 늘어놓는 것보다 실행하기 쉽습니다.

• 기존에 연결된 관계가 없는 상태에서 더 많은 DM을 보내거나 후속 메시지를 보내야 한다면 LinkedIn Premium 또는 Sales Navigator를 고려해 보세요. Sales Navigator를 사용하면 수신자가 첫 번째 메시지를 읽지 않았더라도 후속 메시지를 보낼 수 있습니다.

• 최소한 URL, 연락처, 아웃리치 날짜, 채널, 수정할 주장, 응답, 후속 조치, 확인된 변경 사항을 추적하세요.

• 만약을 대비해 아웃리치 전에 페이지 스크린샷을 찍어둘 수도 있습니다. 문의 양식을 쓴다면, 메시지가 제출됐다는 증거를 저장해 두세요. Ahrefs를 사용 중이라면 사이트 익스플로러로 날짜 사이 페이지 변경 사항을 문서화할 수 있습니다.

우리는 26명의 작성자에게 기사 속 부정확한 정보에 대해 연락했습니다. 14명이 답장했고(53.8%), 그중 6명은 페이지에서 확인 가능한 수정을 반영했습니다(23%).

이 작업은 아직 진행 중이며, 물론 작성자들이 변경을 해야 할 의무가 있는 것은 아닙니다. 그럼에도 전체 글의 거의 4분의 1을 수정하게 만든 것은 고무적인 결과입니다.

여기 아웃리치 대상 중 하나의 변경 전과 변경 후 모습입니다(Ahrefs 사이트 익스플로러의 diff 뷰를 통해 확인).

그리고 맞습니다. 모두 잡아내지는 못했지만, 페이지를 업데이트하자 AI 답변에 올바른 사실이 실제로 반영됐습니다. 다음은 한 가지 예시입니다(thatmarketingbuddy.com의 Joonas에게 큰 감사를 전합니다).

두 명의 작성자는 변경하겠다고 했지만, 우리가 결과를 검토했을 때는 아직 반영되지 않았습니다. 그래서 확인된 수정 건수에는 포함하지 않았습니다.

26명 중 12명에게서는 답장을 받지 못했습니다.

우리가 기사 업데이트를 노골적으로 거절당한 적은 한 번도 없었습니다. 다만 일부 작성자들은, 대신 그들의 제품을 언급하거나 홍보해 주는 조건이라면 수정해 주겠다고 했습니다. 우리는 거절했습니다. 게시된 정보의 정확성을 유지하는 일은 그 자체로 충분히 가치가 있어야 한다고 생각했고, 대가를 제시하는 건 아무것도 바라지 않고 수정을 해 준 작성자들에게 불공평하다고 느꼈습니다.

이번 아웃리치는 우리 설명에도 문제가 있다는 점을 드러냈습니다. 혼란의 일부는 브랜드 레이더의 가격과 기능 제한에 대한 설명이 명확하지 않았기 때문이었습니다. 이는 우리 스스로 개선할 과제가 되었죠. 제품을 설명하는 글을 쓰는 사람이 포함된 내용을 더 쉽게 이해할 수 있도록 만드는 것 말입니다.

답장을 받는 건 변경을 실제로 이루는 것보다 쉬웠습니다. 이 작업을 계획할 때 이 점을 기억할 만합니다. 약속한 업데이트가 실제로 적용됐는지 확인할 시간도 필요하고, 일부 메시지는 답이 오지 않을 것이라고 예상해야 합니다.

AI 어시스턴트가 무슨 말을 할지는 통제할 수 없지만, 그들과 다른 모든 사람이 올바른 정보를 더 쉽게 찾게 만들 수는 있습니다.

이는 웹 전반에서 브랜드 언급을 모니터링하고, 부정확한 내용을 발견하면 빠르게 대응하는 것을 의미합니다. 제 경험상 콘텐츠 제작자는 게시 직후에 자신의 작업을 가장 신경 쓰기 때문에, 초기에 연락할수록 페이지를 수정하도록 설득할 가능성이 높아집니다.

물론 이것이 모든 것을 보장하진 않습니다. 특정 페이지가 언젠가 AI 답변에 인용될지는 알 수 없습니다. 하지만 빠르게 대응하면 허위 정보가 일부 AI 응답에 포함되는 것을 막을 수도 있습니다.

페이지가 인용될 가능성이 더 높다는 신호를 찾아볼 수도 있습니다. DR, 평판, 관심 있는 주제와의 관련성은 모두 유용한 대리 지표가 될 수 있습니다. 특히 웹에 관련 페이지가 몇 개밖에 없는 좁은 니치에서 활동한다면 더욱 그렇습니다. 최신성도 중요할 수 있습니다. 특히 새 페이지가 AI 시스템이 이미 인용하고 있는 출처보다 더 최신일 때 그렇습니다.

Firehose 같은 도구로 브랜드 언급 모니터링을 설정할 수 있습니다.

에이전트를 API로 연결해 새 소스가 발견되는 즉시 각 소스를 자동으로 팩트체크하도록 만들면, 거의 실시간에 가까운 모니터링도 가능합니다.

웹 언급은 하나의 화폐가 됐습니다. 특정 페이지에 이름을 올리려면 비용이 들고, 브랜드가 정확하게 표현되게 하는 데도 비용이 들 수 있다고 합니다. 이게 중요한 이유는, 온라인에서 브랜드가 어디에 언급되는지, 그리고 그 웹 언급이 무엇을 말하는지가 AI 답변에서 얼마나 잘 보이는지에 큰 영향을 줄 수 있기 때문입니다.

그래서 우리처럼 부정확한 정보를 찾아 수정하는 과정을 자동화하는 앱이 매우 유용할 수 있습니다. 하지만 우리가 확인했듯이, 누군가 당신의 브랜드 정보를 업데이트해 주는 대가로 무엇인가를 제공할 준비가 되어 있지 않다면, 큰 성과를 내기는 어렵습니다.

하지만 더 큰 문제는 AI 개발자들이 해결해야 할 부분입니다. 브랜드 관련 질문에 답할 때 AI 시스템이 어떤 출처를 신뢰할지 선택하는 방식이죠. 지금의 프로세스는 솔직히 누구에게도 도움이 되지 않습니다.

모든 콘텐츠 제작자나 웹사이트 운영자가 항상 사실을 확인하고 모든 회사에 대한 정보를 최신 상태로 유지하길 기대하긴 어렵습니다. 하지만 기업이라면 자기 회사 정보의 정확성을 챙길 거라고 기대할 수는 있죠. 그럴 이유는 충분합니다. 잘못되었거나 오래된 정보는 사업에 직접적인 피해를 줄 수 있으니까요.

AI 시스템은 그런 점을 더 잘 인식해야 합니다. 기업에 대한 기본적인 사실이라면, 제3자 웹사이트의 오래된 언급보다 해당 기업이 직접 제공하는 정확하고 최신의 정보에 더 큰 비중이 실려야 합니다.

읽어 주셔서 감사합니다! Glen과 Mateusz에게 인사하러 와 주세요.