Como identificar e corrigir erros em respostas de IA
Educador de SEO e Marketing na Ahrefs
- Configure os prompts
- Anote o que é realmente verdade
- Encontre as páginas por trás das respostas erradas
- Priorize os alvos de divulgação
- Encontre o contato certo
- Envie um pedido de correção cordial e faça um acompanhamento uma vez
- O que aconteceu quando tentamos divulgação de AEO
- O que você pode fazer para reduzir futuras imprecisões em respostas de IA
- Monitoramento proativo da marca
Pergunte ao ChatGPT quanto custa um produto, por exemplo, e ele não necessariamente vai se basear na página oficial de preços da empresa. Ele também pode recorrer a fontes de terceiros — avaliações, artigos comparativos ou listas de “melhores ferramentas”, algumas das quais foram publicadas anos atrás.
Isso cria um problema real para as marcas. Se informações desatualizadas ou incorretas sobre seus preços, produtos ou recursos estiverem circulando online, sistemas de IA podem repeti-las para potenciais clientes. E ver uma IA passar com confiança a informação errada sobre seu produto pode ser especialmente frustrante quando o erro é grande o suficiente para influenciar uma decisão de compra.
Vimos isso na prática quando checamos 217 respostas geradas por IA sobre a Ahrefs usando nosso próprio app (disponível no Letaido). Destas, 41 respostas — 19%, ou aproximadamente 1 em cada 5 — continham pelo menos uma afirmação falsa. No total, encontramos 47 erros distintos. E, em alguns dos nossos testes, a taxa de erro chegou a 36%.
Isso faz da precisão e da consistência na web uma parte importante da visibilidade em IA. Não basta ter a informação certa no seu próprio site — você também precisa encontrar e corrigir informações imprecisas em outros lugares dos quais os sistemas de IA podem depender.
Neste artigo, vamos mostrar como fazer isso passo a passo, usando o processo que testamos e um app que criamos para automatizar a maior parte do trabalho.
Configure os prompts
Ao longo deste artigo, vamos usar o Ahrefs Brand Radar para coletar respostas de IA e ver quais páginas elas citam. Também vamos usar um app personalizado que criamos no Letaido, que se conecta aos dados do Brand Radar para automatizar o processo de verificação de fatos. Esta etapa é opcional, mas pode poupar uma enorme quantidade de tempo.
A base do processo de checagem de fatos é composta por dois tipos de prompts. Juntos, eles revelam tanto problemas conhecidos quanto erros que você nem pensou em procurar.
Prompts provocados: teste os fatos mais importantes que você não quer que a IA erre
Crie esses prompts em torno de uma afirmação específica que você acha que a web erra, assim como suspeitávamos que a IA erraria nossos preços de API. Qualquer coisa no seu produto que mudou recentemente é um forte candidato, porque páginas de terceiros ainda descrevem a versão antiga.
Cada um deles acompanhou uma mudança real na Ahrefs:
- Uma mudança de preço: “Quanto custa a Ahrefs?” e “Qual é o plano mais barato da Ahrefs?”
- Um recurso que foi para um plano mais barato: “A Ahrefs oferece acesso à API?” e “Quanto custa a API da Ahrefs?”
- Um recurso recém-lançado: “O Ahrefs Brand Radar rastreia o Claude?”
No Brand Radar, você configura esses prompts como prompts personalizados e os marca com as tags correspondentes.
Prompts espontâneos: encontre os erros que você não previu
Prompts provocativos só testam suas próprias suposições; por isso, faça também a checagem de fatos nos prompts que você já acompanha. É aí que estão as surpresas: um limite de recurso inventado, um nome de plano que nunca existiu, uma comparação com concorrente baseada em um número de dois anos atrás.
Se você ainda não acompanha um conjunto de prompts, temos um guia detalhado sobre onde encontrar bons candidatos a prompt. Aqui vão alguns exemplos dos prompts “não provocados” que usamos no nosso processo:
melhores ferramentas de SEO
comparar planos da ahrefs
ahrefs vale a pena
como construir backlinks
mais barato que ahrefs
ferramentas de bot analytics
alternativas ao semrush
ahrefs vs Semrush
ahrefs ou SE ranking
ferramentas de monitoramento de marca com IA
Tente não exagerar na quantidade de prompts para acompanhar. Cada prompt extra adiciona respostas para revisar, e o verificador de fatos sinaliza alegações que acabam estando corretas. Um humano ainda precisa confirmar cada uma, então uma lista que você realmente consegue revisar é melhor do que uma lista maior que você não consegue.
Depois que tudo estiver configurado no Brand Radar, você pode usar tags para alternar entre diferentes grupos de prompts. Veja como definir os filtros:
Anote o que é realmente verdade
Um verificador de fatos não consegue identificar um erro a menos que você diga qual é a resposta certa. Esse é o documento que serve como fonte da verdade: uma lista simples de afirmações verificáveis sobre o seu produto, cada uma com um link que a comprova.
Ela cumpre duas funções. O verificador de fatos compara as respostas de IA com ela, e o revisor humano usa a mesma lista para decidir se uma resposta sinalizada é real antes de alguém enviar um e-mail a um autor.
Como é um bom fato
Procure colocar uma afirmação por linha, em linguagem simples, específica o bastante para que alguém consiga confirmá-la ou refutá-la em poucos segundos. Estes exemplos são da nossa lista:
Os preços da Ahrefs começam em US$ 29 por mês no plano Starter.
O Brand Radar é vendido separadamente, com preços a partir de US$ 50 por mês, e não exige uma assinatura paga da Ahrefs.
O acompanhamento de prompt personalizado pode ser executado diariamente, semanalmente ou mensalmente.
O plano Lite inclui 150 verificações de prompts personalizados por mês.
O acesso à API está incluído a partir do plano Lite e não exige uma assinatura Enterprise.
O Brand Radar mostra a atividade de bots via Bot Analytics e o tráfego de busca por IA via Web Analytics. As duas ferramentas subjacentes são gratuitas.
Compare isso com “A Ahrefs é acessível” ou “O Brand Radar tem opções de acompanhamento flexíveis”. Nenhuma das duas pode ser verificada, então nenhuma deveria estar na lista.
Opcionalmente, adicione três coisas a cada fato: uma URL de origem, um responsável que possa confirmá-lo e uma data da última verificação. A data é mais importante do que parece. Metade dos erros que investigamos existia porque um fato mudou e ninguém atualizou as páginas que o repetiam. Sua própria lista se deteriora do mesmo jeito.
Qual deve ser o tamanho da lista de fatos
Mantenha seu documento de fonte única da verdade longo o suficiente para cobrir o que os compradores perguntam, mas curto o bastante para mantê-lo atualizado. Em outras palavras, escreva os fatos nos quais os compradores realmente se baseiam para decidir e que você consegue manter atualizados de forma realista.
Nossa lista começou com cerca de 50 fatos e cobria preços, limites dos planos, cotas de prompts, acesso à API e afirmações sobre recursos.
Não incluímos todos os fatos sobre a Ahrefs porque, quanto maior ficar sua lista de fatos, mais ela afeta estes elementos do processo:
- O custo aumenta um pouco. Cada fato adicional acrescenta apenas um pequeno valor a cada execução. No nosso app, os custos de LLM usados no avaliador de fatos (Claude Sonnet 5) são de ~US$ 0,02 por verificação de resposta e ~US$ 0,05 por auditoria de página.
- A revisão humana aumenta. Cada afirmação sinalizada precisa ser verificada, e fatos vagos ou com escopo mal definido podem gerar falsos positivos.
- A manutenção se torna mais importante. Cada fato que você adiciona é mais um fato que você precisa manter correto. Uma fonte de referência desatualizada pode ser pior do que uma incompleta.
Encontre as páginas por trás das respostas erradas
Depois que você encontrar uma resposta incorreta de IA, a próxima pergunta é: de onde veio a informação errada?
Você pode rastrear esses erros até suas fontes manualmente, mas isso rapidamente toma muito tempo quando você está verificando centenas de respostas. Para auditorias maiores, recomendamos usar IA para fazer a maior parte do trabalho pesado.
A versão manual
Isso funciona bem para um número pequeno de prompts, e vale a pena fazer manualmente uma vez, mesmo que você planeje automatizar depois.
A versão automatizada
Quando você já está analisando centenas de respostas, fazer isso manualmente se torna impraticável.
Se você usa a Ahrefs, criamos um app de verificação de fatos no Letaido que automatiza a revisão de respostas, a pesquisa das páginas citadas e a priorização usando dados do Brand Radar.
O app funciona em duas etapas principais.
- Fase 1: verifique a resposta da IA. Você aprova os fatos. O app encontra afirmações imprecisas na resposta da IA e então verifica as páginas citadas para ver se elas afirmam, contradizem ou não mencionam cada ponto, com uma citação literal como evidência.
- Fase 2: audite as fontes. Em seguida, você pode comparar as páginas citadas com seu conjunto completo de fatos para descobrir outros erros ou omissões importantes. Para páginas que valem a pena corrigir, o app encontra o autor e o canal de contato (geralmente um perfil social, como o LinkedIn), prioriza essas páginas por impacto e exporta a lista para CSV ou Word. Para uma cobertura mais ampla, você pode estender a auditoria para todas as páginas que a IA recuperou, não apenas as que ela citou.
O mesmo conjunto de fatos também pode verificar qualquer página da web ou rascunho não publicado.
Para você ter uma ideia dos custos do app, uma verificação com base em 30 fatos, avaliando 217 respostas e 138 páginas citadas, custa pouco mais de US$ 1 em tokens de LLM e levou 2,5 horas (veja as capturas de tela abaixo, de ambas as etapas).
Priorize os alvos de divulgação
Nem toda página incorreta vale a pena ir atrás na mesma medida. Priorize aquelas cuja correção tem maior probabilidade de melhorar respostas de IA ou alcançar diretamente compradores em potencial.
Estes são os principais sinais a observar:
- Gravidade: corrija primeiro os erros que podem afetar uma decisão de compra, como preços incorretos, acesso ao plano, serviços oferecidos, limites do produto ou recursos ausentes.
- Frequência de citação: páginas citadas com frequência em várias respostas ou plataformas têm mais influência do que fontes citadas uma única vez.
- Estabilidade de citação: fontes que aparecem de forma consistente em verificações repetidas são mais valiosas do que aquelas que aparecem uma vez só.
- Tráfego orgânico: páginas com tráfego de busca relevante podem alcançar compradores tanto pela busca tradicional quanto por respostas de IA.
- Autoridade: domínios de referência e a classificação de domínio podem fortalecer o caso, especialmente quando uma página também é citada com frequência e é relevante.
- Relacionamento: você ou um colega já conhecem o autor? Alguém poderia apresentar vocês? A publicação já respondeu você antes? Por exemplo, na nossa campanha, o Glen era a pessoa certa para abordar um site porque já tinha um relacionamento com eles. Em outra situação, a citação veio de um influencer com quem já tínhamos relacionamento, então nosso time de Parcerias foi o mais indicado para conduzir a divulgação.
Você pode encontrar parte dessas informações no Brand Radar:
E, se você estiver usando nosso app Letaido, os dados são extraídos do Brand Radar e exibidos bem ao lado da página afetada:
Encontre o contato certo
Depois que você encontrar uma página que quer abordar, o próximo passo é descobrir quem de fato é responsável por ela.
Para um pequeno número de páginas, as ferramentas standard de coleta de páginas na web disponíveis em assistentes de IA geralmente são suficientes para carregar a página e procurar informações do autor ou de contato.
Em uma escala maior, porém, verificar URLs uma a uma rapidamente se torna impraticável. Normalmente, você vai querer usar uma API de scraping como o Apify ou outra fonte do HTML da página.
Nosso app primeiro tenta snapshots armazenados pela Ahrefs. Se isso falhar, tenta o Apify e, se o contato não puder ser encontrado na página citada, segue o link para a página do autor (se houver) e tenta novamente por lá.
Comece pela pessoa indicada como autora. Verifique primeiro a autoria no artigo e a página do autor e, depois, procure o perfil no LinkedIn ou no X se precisar de uma forma de entrar em contato.
Se você não conseguir encontrar o autor ou se ele não estiver mais lá, suba um nível. Em uma publicação, pode ser um editor ou líder de conteúdo. Em uma empresa pequena, o fundador ou o responsável por marketing pode ser o melhor contato.
Como último recurso, use o contato geral da empresa ou o canal de suporte e peça para encaminharem sua mensagem para quem gerencia a página ou o conteúdo.
Ferramentas como HeyReach ou BuzzSumo podem ajudar a preencher dados de contato ausentes e identificar as pessoas certas para abordar. Muitas delas oferecem uma API ou MCP, então você pode integrar a funcionalidade delas a um processo assistido por IA.
Envie um pedido de correção cordial e faça um acompanhamento uma vez
Mantenha sua divulgação útil, não exigente. Você pode agradecer por terem abordado seu produto, apontar um ou dois erros específicos, incluir um link para uma fonte confiável com as informações corretas e deixar claro que não há pressão para atualizar a página.
Para ilustrar, aqui está uma das mensagens que enviamos:
Isso reduz a barreira para iniciar uma conversa, embora possa ser menos eficaz porque você está pedindo que o destinatário responda antes de poder ver o valor da correção.
Se você não receber resposta, faça um follow-up uma vez. Depois disso, passe para a próxima página da sua lista. Algumas das nossas mensagens de follow-up realmente funcionaram.
Mais algumas dicas práticas para divulgação:
Seja cordial. Não acuse o autor de espalhar desinformação nem o ameace com danos à reputação.
Presuma que a página ficou desatualizada, e não que o autor agiu de má-fé.
Mantenha o pedido específico. Uma correção verificada é mais fácil de executar do que uma longa lista de reclamações.
Considere o LinkedIn Premium ou o Sales Navigator se você precisar enviar mais mensagens diretas ou fazer acompanhamento sem ter uma conexão existente. O Sales Navigator permite enviar mensagens de acompanhamento mesmo que a primeira mensagem não tenha sido lida pelo destinatário.
Rastreie pelo menos a URL, contato, data da divulgação, canal, afirmação a corrigir, resposta, follow-up e mudança confirmada.
- E, só por garantia, você pode tirar uma captura de tela da página antes da divulgação. Se você usar um formulário de contato, guarde uma prova de que a mensagem foi enviada. Se você usa a Ahrefs, pode usar o Site Explorer para documentar as mudanças na página entre datas.
O que aconteceu quando tentamos divulgação de AEO
Entramos em contato com 26 autores sobre informações imprecisas em seus artigos. 14 responderam (53,8%) e 6 fizeram correções que conseguimos verificar em suas páginas (23%).
Isso ainda está em andamento e, é claro, os autores não são obrigados a fazer nenhuma alteração. Mesmo assim, conseguir que quase um quarto dos artigos seja corrigido é um resultado promissor.
Aqui está um dos alvos de divulgação, antes e depois (visualização de diferenças via Site Explorer da Ahrefs).
E sim: atualizar páginas, mesmo sem conseguirmos pegar todas, trouxe fatos corretos para respostas de IA. Aqui vai um exemplo (um grande obrigado ao Joonas, do thatmarketingbuddy.com):
Outros dois autores disseram que fariam mudanças, mas elas ainda estavam pendentes quando revisamos os resultados. Deixamos esses casos fora da contagem de correções confirmadas.
Não recebemos resposta de 12 dos 26 contatos.
Nunca recebemos uma recusa direta para atualizar um artigo. Alguns autores, porém, só estavam dispostos a fazer uma correção se mencionássemos ou promovêssemos o produto deles em troca. Recusamos. Achamos que manter as informações publicadas corretas deveria valer a pena por si só, e oferecer algo em troca seria injusto com os autores que fizeram correções sem pedir nada.
A divulgação também expôs um problema nas nossas próprias explicações. Parte da confusão veio de descrições pouco claras do preço do Brand Radar e dos limites de recursos. Isso nos deu algo para melhorar: facilitar para quem escreve sobre o produto entender o que está incluído.
Conseguir uma resposta foi mais fácil do que conseguir uma mudança. Vale lembrar disso ao planejar esse trabalho. Você vai precisar de tempo para verificar se as atualizações prometidas acontecem e deve esperar que algumas mensagens fiquem sem resposta.
Por que respostas erradas de IA não vão desaparecer tão cedo
Acredito que uma mudança poderia fazer grande parte desse problema desaparecer: assistentes de IA deveriam obter fatos fundamentais sobre uma marca diretamente da própria marca. No mínimo, deveriam sinalizar quando uma afirmação vem de terceiros e não foi verificada. Nosso experimento Xarumei mostrou o quão absurda a busca com IA pode ficar quando não leva em conta a natureza adversarial da web.
Até que as empresas de tecnologia façam essa mudança, informações imprecisas sobre marcas continuarão sendo um problema — e um sinal de que os assistentes de IA ainda têm muito a evoluir.
O ChatGPT talvez já esteja tomando medidas para melhorar a qualidade das respostas. Por exemplo, parece adicionar termos como “oficial” a consultas em fan-out e usar o operador “site:” para extrair informações de sites específicos, incluindo sites de marcas. Lily Ray aborda isso com mais detalhes em seu artigo.
Novos erros continuarão surgindo também. As pessoas vão continuar usando IA para criar conteúdo, então erros existentes serão repetidos, e outros novos serão introduzidos quando a IA preencher lacunas com informações inventadas. Essas páginas então viram fontes para mais conteúdo gerado por IA, e o infame ciclo de porcaria continua.
A propósito, nós também já estivemos “do outro lado da cerca”. Durante nosso experimento de autopromoção, um concorrente nos pediu para corrigir um erro que a IA havia introduzido no nosso próprio conteúdo — apesar das nossas revisões manuais e das tentativas honestas de citar apenas informações verificadas.
O que você pode fazer para reduzir futuras imprecisões em respostas de IA
Você não pode controlar o que os assistentes de IA dizem, mas pode facilitar para eles — e para todo mundo — encontrar as informações corretas.
Deixe as informações do seu produto sem ambiguidades
Explique preços, limites dos planos e disponibilidade de recursos com clareza. Se o seu próprio texto deixar margem para interpretação, terceiros e sistemas de IA vão preencher as lacunas — e podem errar. Não repita nosso erro, que causou muitas imprecisões sobre o Brand Radar.
Mantenha seu conteúdo antigo atualizado
Seu próprio site também pode virar uma fonte de informações desatualizadas. Quando os preços ou os pacotes mudarem, atualize artigos antigos que mencionem isso. Encontramos três erros no nosso site da Ahrefs durante a auditoria.
Documentação e conteúdo de ajuda também podem ser uma fonte importante para a busca com IA. Para ilustrar isso, escolhi a Samsung como exemplo e analisei de onde vêm as citações da IA dela. Descobri que aproximadamente metade vinha da documentação de suporte e de guias de compra. A Samsung não é única nesse aspecto — vemos padrões semelhantes em muitas marcas, em que conteúdo prático e próprio é frequentemente citado em respostas de IA e usado por agentes de IA.
De onde vêm as citações da IA da Samsung
Participação de todas as citações da IA por padrão de URL, ordenada pela taxa de citação. Domínio da Samsung, 1.000 páginas mais citadas.
Fonte: Ahrefs via Letaido
Facilite o acesso dos agentes aos fatos do seu produto
No longo prazo, considere publicar uma fonte canônica e legível por máquina das informações do produto. Isso pode ser um endpoint MCP, como o do Mobbin, um feed RSS de atualizações de preços e funcionalidades ou outra abordagem para descoberta agentiva de recursos, como Suganthan Mohanadasan já implementou.
Nada disso garante que um assistente de IA vá usar suas informações. Mas, quanto mais fácil você tornar a tarefa de encontrar os fatos atuais e canônicos, menos espaço haverá para que informações desatualizadas de terceiros preencham a lacuna.
Monitoramento proativo da marca
Isso significa monitorar menções à marca na web e reagir rapidamente quando você identificar imprecisões. Na minha experiência, criadores de conteúdo se importam mais com o trabalho logo depois de publicar, então entrar em contato cedo aumenta suas chances de fazer com que eles corrijam a página.
Claro, isso não garante nada. Você não sabe se uma determinada página algum dia será citada em uma resposta de IA. Mas agir rápido pode impedir que a desinformação chegue a algumas respostas de IA.
Você também pode procurar sinais de que uma página tem mais chances de ser citada. O DR, a reputação e a relevância dela para o tema que você considera importante podem servir como bons indicadores — especialmente se você atua em um nicho restrito, com apenas algumas poucas páginas relevantes na web. Atualidade também pode importar, principalmente quando uma página nova está mais atualizada do que as fontes que os sistemas de IA já estão citando.
Você pode configurar o monitoramento de menções à marca com uma ferramenta como o Firehose.
Você também pode conectar seu agente via API e fazer com que ele verifique automaticamente os fatos de cada nova fonte assim que ela for encontrada, dando a você um monitoramento quase em tempo real.
Observação para quem publica
Se você mantém posts de comparação ou de preços, pode automatizar o ciclo de atualização. Kamila Olexa criou um pipeline que monitora as páginas de preços dos concorrentes, extrai os novos níveis, encontra todos os posts que os mencionam, reescreve apenas as seções de preços e pede aprovação no Slack antes de publicar. Veja como funciona.
Considerações finais
Menções na internet viraram uma moeda. Colocar seu nome em certas páginas custa — e, ao que parece, fazer com que sua marca seja representada com precisão também pode custar. Isso importa porque onde sua marca é mencionada online — e o que essas menções dizem — pode ter um impacto enorme em quão visível você é nas respostas de IA.
É por isso que um app como o nosso, que automatiza o processo de encontrar e corrigir informações imprecisas, pode ser tão útil. Mas, como descobrimos, a menos que você esteja disposto a oferecer algo em troca de alguém atualizar informações sobre sua marca, talvez você não vá muito longe.
O problema maior, no entanto, é algo que desenvolvedores de IA precisam resolver: como os sistemas de IA escolhem em quais fontes confiar ao responder perguntas sobre marcas. No momento, esse processo não atende bem a ninguém.
Você não pode esperar que todo criador de conteúdo ou proprietário de site confira seus fatos o tempo todo e mantenha as informações sobre todas as empresas sempre atualizadas. Mas você pode esperar que uma empresa se preocupe em manter as próprias informações corretas. Ela tem todos os motivos para isso — informações erradas ou desatualizadas podem prejudicar diretamente o negócio.
Os sistemas de IA deveriam reconhecer isso melhor. Quando se trata de fatos básicos sobre uma empresa, informações precisas e atualizadas da própria empresa deveriam ter mais peso do que uma menção antiga em um site de terceiros.
Mateusz Makosiewicz é pesquisador e educador de marketing na Ahrefs. Ele atua com marketing há mais de 15 anos, com especialização em growth marketing, marketing de conteúdo, estratégia de marketing e gestão.
Mateusz estudou Publicidade e Marketing de Mídia na Universidade de Gdańsk. Ele adquiriu sua experiência em marketing em agências, empresas de SaaS e empresas de hardware, onde atuou em diversas funções — desde a gestão de projetos de publicidade para clientes até a liderança de departamentos de marketing.
No blog da Ahrefs, ele escreve sobre SEO e marketing com base em experiências obtidas ao testar provavelmente todo conselho de marketing já publicado, tentativa e erro no marketing de startups do Vale do Silício e ajustes em motores de crescimento como se a vida dele dependesse disso.
Explore todos os guias de AEO
O que é Answer Engine Optimization (AEO)?
Comece por aqui. O que é o AEO, como ele difere do SEO e os sete passos para começar.
Como funcionam os motores de resposta
O que realmente acontece entre um prompt e uma resposta — e onde sua marca pode entrar no processo.
Como acompanhar a visibilidade de IA
Você não consegue otimizar o que não consegue ver. Sete maneiras de medir onde sua marca aparece em respostas de IA.
Como escolher os melhores prompts para acompanhar
Acompanhe clusters de prompts, não respostas isoladas. Onze lugares para encontrar as consultas que valem a pena monitorar.
Como otimizar conteúdo para motores de resposta
Ranquear faz você ser considerado. Veja como ser citado — os temas, formatos e mudanças na página que funcionam.
Como monitorar e conquistar menções à marca em respostas de IA
A IA recomenda as marcas que já viu serem discutidas em outros lugares. Veja como monitorar essas menções e conseguir mais menções desse tipo.
Como otimizar seu site para motores de resposta
Os ajustes técnicos que determinam se a IA consegue alcançar suas páginas, lê-las e entender quem você é.
Como identificar e corrigir erros em respostas de IA
Encontre e corrija respostas imprecisas de IA rastreando fontes ruins, corrigindo desinformação e melhorando a visibilidade da sua marca na busca por IA.