Jak wykrywać i poprawiać błędy w odpowiedziach AI?

W tym artykule będziemy korzystać z narzędzia Ahrefs Brand Radar do gromadzenia odpowiedzi generowanych przez AI i sprawdzania, jakie strony są w nich cytowane. Skorzystamy również z własnej aplikacji, którą stworzyliśmy w Letaido – łączy się ona z danymi z narzędzia Brand Radar i automatyzuje proces weryfikacji faktów. Ten krok jest opcjonalny, ale może zaoszczędzić Ci mnóstwo czasu.

Podstawą procesu weryfikacji są dwa rodzaje promptów. Razem pozwalają wykryć zarówno znane problemy, jak i błędy, które nawet nie przyszłyby Ci do głowy.

Narzędzie do weryfikacji faktów nie wykryje błędu, jeśli nie wskażesz mu, jaka jest prawidłowa odpowiedź. Do tego służy dokument zawierający wiarygodne informacje: prosta lista weryfikowalnych twierdzeń dotyczących Twojego produktu, z których każde jest opatrzone linkiem do strony potwierdzającej jego prawdziwość.

Taki dokument pełni dwie funkcje. Narzędzie do weryfikacji faktów porównuje z nim odpowiedzi AI, a osoba sprawdzająca wykorzystuje tę samą listę, aby ustalić, czy oflagowana odpowiedź rzeczywiście zawiera błąd, zanim ktokolwiek skontaktuje się z autorem publikacji.

Gdy znajdziesz błędną odpowiedź AI, pojawia się kolejne pytanie: skąd pochodzą nieprawdziwe informacje?

Możesz ręcznie dotrzeć do źródeł tych błędów, ale sprawdzanie w ten sposób setek odpowiedzi szybko staje się czasochłonne. Przy większych audytach zalecamy wykorzystanie AI do wykonania większości pracy.

Nie każda strona zawierająca błędne informacje jest równie istotna. W pierwszej kolejności zajmij się tymi, których poprawienie najprawdopodobniej wpłynie na odpowiedzi AI lub pozwoli bezpośrednio dotrzeć do potencjalnych klientów.

Oto najważniejsze czynniki, które warto wziąć pod uwagę:

• Waga błędu: W pierwszej kolejności popraw błędy, które mogą wpłynąć na decyzję zakupową, np. nieprawidłowe ceny, błędne informacje o dostępności planów, oferowanych usługach, limitach produktów lub brakujących funkcjach.
• Częstotliwość cytowania: Strony często cytowane w różnych odpowiedziach lub na różnych platformach mają większy wpływ niż źródła pojawiające się tylko raz.
• Powtarzalność cytowań: Źródła, które regularnie pojawiają się w kolejnych sprawdzeniach, są cenniejsze niż te, które występują tylko raz.
• Ruch organiczny: Strony generujące znaczący ruch z wyszukiwarek mogą docierać do potencjalnych klientów zarówno przez tradycyjne wyniki wyszukiwania, jak i odpowiedzi AI.
• Autorytet: Liczba domen odsyłających oraz wskaźnik DR (Ocena domeny) mogą dodatkowo przemawiać za podjęciem działań, szczególnie gdy dana strona jest często cytowana i tematycznie istotna.
• Relacje: Czy Ty lub ktoś z Twojego zespołu zna już autora? Czy ktoś może Was ze sobą skontaktować? Czy autorzy danej publikacji odpowiadali wcześniej na Wasze wiadomości? Na przykład w naszej kampanii Glen był odpowiednią osobą do kontaktu z jednym z serwisów, ponieważ miał już z nim relację. W innym przypadku źródłem cytowania był influencer, z którym wcześniej współpracowaliśmy, dlatego najlepiej było powierzyć kontakt naszemu zespołowi ds. partnerstw.

Część tych informacji znajdziesz w narzędziu Brand Radar:

Jeśli korzystasz z naszej aplikacji Letaido, dane są pobierane z narzędzia Brand Radar i wyświetlane bezpośrednio obok strony, której dotyczą:

Gdy znajdziesz stronę, z którą chcesz się skontaktować, kolejnym krokiem jest ustalenie, kto faktycznie za nią odpowiada.

W przypadku niewielkiej liczby stron zazwyczaj wystarczą standardowe narzędzia do pobierania treści ze stron internetowych dostępne w asystentach AI. Pozwalają one pobrać stronę i wyszukać informacje o autorze lub dane kontaktowe.

Przy większej skali działań sprawdzanie adresów URL jeden po drugim szybko staje się niepraktyczne. Warto wtedy skorzystać z API do pobierania danych ze stron, takiego jak Apify, lub innego źródła kodu HTML stron.

Nasza aplikacja najpierw próbuje wykorzystać zapisane przez Ahrefs kopie stron. Jeśli to się nie powiedzie, korzysta z Apify. Gdy nie uda się znaleźć danych kontaktowych na cytowanej stronie, przechodzi do strony autora, o ile prowadzi do niej link, i ponawia wyszukiwanie.

Zacznij od osoby wskazanej jako autor. Najpierw sprawdź podpis pod artykułem i stronę autora, a następnie – jeśli potrzebujesz danych kontaktowych – zajrzyj na jego profil na LinkedIn lub X.

Jeśli nie możesz znaleźć autora albo nie pracuje on już w danej firmie, poszukaj osoby szczebel wyżej. W przypadku serwisu informacyjnego może to być redaktor lub osoba odpowiedzialna za treści. W małej firmie najlepszym kontaktem może być założyciel albo kierownik ds. marketingu.

W ostateczności skorzystaj z ogólnego adresu kontaktowego firmy lub kanału obsługi klienta i poproś o przekazanie wiadomości osobie odpowiedzialnej za daną stronę lub treści.

Narzędzia takie jak HeyReach lub BuzzSumo mogą pomóc uzupełnić brakujące dane kontaktowe i wskazać osoby, z którymi prawdopodobnie warto się skontaktować. Wiele z tych narzędzi udostępnia API lub MCP, dzięki czemu można zintegrować ich funkcje z procesem wspomaganym przez AI.

Zadbaj o to, by Twoja wiadomość była przydatna, a nie roszczeniowa. Możesz podziękować autorowi za opisanie Twojego produktu, wskazać jeden lub dwa konkretne błędy, podać link do wiarygodnego źródła potwierdzającego prawidłowe informacje i zaznaczyć, że nie wywierasz presji, by zaktualizował stronę.

Dla przykładu – oto jedna z wiadomości, które wysłaliśmy:

Takie podejście ułatwia rozpoczęcie rozmowy, ale może być mniej skuteczne, ponieważ prosisz odbiorcę o odpowiedź, zanim będzie mógł ocenić wartość proponowanej korekty.

Jeśli nie dostaniesz odpowiedzi, wyślij jedną wiadomość przypominającą. Potem przejdź do kolejnej strony z listy. Niektóre nasze wiadomości przypominające rzeczywiście przyniosły efekt.

Kilka dodatkowych, praktycznych wskazówek dotyczących działań zewnętrznych:

• Okaż życzliwość. Nie oskarżaj autora o rozpowszechnianie nieprawdziwych informacji ani nie groź mu szkodami wizerunkowymi.

• Przyjmij, że strona się zdezaktualizowała, zamiast zakładać, że autor działał w złej wierze.

• Sformułuj konkretną prośbę. Łatwiej wdrożyć jedną zweryfikowaną poprawkę niż długą listę zastrzeżeń.

• Rozważ LinkedIn Premium lub Sales Navigator, jeśli potrzebujesz wysyłać więcej wiadomości bezpośrednich albo ponawiać kontakt z osobami, z którymi nie masz jeszcze nawiązanej relacji. Sales Navigator umożliwia wysyłanie kolejnych wiadomości nawet wtedy, gdy odbiorca nie przeczytał pierwszej.

• Dokumentuj przebieg kontaktu: zapisuj co najmniej adres URL, dane kontaktowe, datę wysłania wiadomości, kanał kontaktu, twierdzenie wymagające korekty, odpowiedź, dalsze wiadomości i potwierdzoną zmianę.

• Na wszelki wypadek zrób zrzut ekranu strony przed wysłaniem wiadomości. Jeśli korzystasz z formularza kontaktowego, zachowaj potwierdzenie wysłania zgłoszenia. Jeśli korzystasz z Ahrefs, możesz skorzystać z narzędzia Site Explorer, aby udokumentować zmiany na stronie między poszczególnymi datami.

Skontaktowaliśmy się z 26 autorami w sprawie nieprawidłowych informacji w ich artykułach. Otrzymaliśmy 14 odpowiedzi (53,8%), a 6 autorów wprowadziło poprawki, które udało nam się potwierdzić na ich stronach (23%).

Nasze działania nadal się toczą, a autorzy nie mają oczywiście obowiązku wprowadzania zmian. Mimo to skorygowanie niemal jednej czwartej artykułów to obiecujący wynik.

Poniżej przykład jednej ze stron, z którą się skontaktowaliśmy – przed zmianami i po nich (porównanie zmian w narzędziu Site Explorer firmy Ahrefs).

Co ważne, aktualizacja stron – mimo że nie udało nam się dotrzeć do wszystkich – rzeczywiście przyczyniła się do pojawienia się prawidłowych informacji w odpowiedziach AI. Oto przykład (wielkie podziękowania dla Joonasa z thatmarketingbuddy.com):

Dwóch kolejnych autorów zadeklarowało, że wprowadzi zmiany, ale w chwili analizy wyników nadal na nie czekaliśmy. Nie uwzględniliśmy więc tych przypadków w liczbie potwierdzonych korekt.

W przypadku 12 z 26 osób, z którymi się skontaktowaliśmy, nie otrzymaliśmy żadnej odpowiedzi.

Nigdy nie dostaliśmy jednoznacznej odmowy zaktualizowania artykułu. Niektórzy autorzy byli jednak skłonni wprowadzić poprawkę tylko pod warunkiem, że w zamian wspomnimy o ich produkcie lub go wypromujemy. Nie zgodziliśmy się na takie rozwiązanie. Uznaliśmy, że samo dbanie o rzetelność opublikowanych informacji powinno być wystarczającym powodem do wprowadzenia korekty, a oferowanie czegoś w zamian byłoby niesprawiedliwe wobec autorów, którzy wprowadzili poprawki bez oczekiwania jakichkolwiek korzyści.

Nasze działania ujawniły też niedociągnięcia w sposobie, w jaki sami przedstawialiśmy nasz produkt. Część nieporozumień wynikała z niejasnych informacji o cenach Brand Radar i limitach poszczególnych funkcji. Uświadomiliśmy sobie, że musimy precyzyjniej wyjaśniać, co obejmuje nasza oferta, aby ułatwić osobom opisującym narzędzie Brand Radar zrozumienie jego możliwości i zasad działania.

Łatwiej jest uzyskać odpowiedź niż doprowadzić do wprowadzenia zmiany. Warto o tym pamiętać podczas planowania takich działań. Trzeba zarezerwować czas na sprawdzenie, czy obiecane aktualizacje rzeczywiście się pojawiły, i liczyć się z tym, że część wiadomości pozostanie bez odpowiedzi.

Nie masz kontroli nad tym, co mówią asystenci AI, ale możesz zadbać o to, by prawidłowe informacje były łatwiejsze do znalezienia – zarówno dla samych agentów, jak i dla wszystkich innych użytkowników.

Polega ono na monitorowaniu wzmianek o marce w całej sieci i szybkim reagowaniu na wykryte nieścisłości. Z mojego doświadczenia wynika, że twórcy najbardziej angażują się w swoje treści tuż po publikacji. Dlatego im szybciej się z nimi skontaktujesz, tym większa szansa, że poprawią błędne informacje.

Oczywiście nie daje to żadnej gwarancji. Nie wiesz, czy dana strona kiedykolwiek zostanie zacytowana w odpowiedzi AI. Szybka reakcja może jednak zapobiec przedostaniu się nieprawdziwych informacji do części odpowiedzi generowanych przez AI.

Możesz też szukać sygnałów wskazujących, że dana strona ma większą szansę na cytowanie. Jej wskaźnik DR, reputacja i powiązanie z istotna dla Ciebie tematyką mogą być użytecznymi wskaźnikami – zwłaszcza jeśli działasz w wąskiej niszy, w której istnieje zaledwie garstka liczących się stron. Znaczenie może mieć również aktualność treści, szczególnie gdy nowa strona zawiera świeższe informacje niż źródła, które są już cytowane przez systemy AI.

Monitorowanie wzmianek o marce możesz skonfigurować za pomocą narzędzia takiego jak Firehose.

Możesz też podłączyć swojego agenta przez API i skonfigurować go tak, aby automatycznie weryfikował fakty na każdej nowo znalezionej stronie – dzięki temu uzyskasz monitoring niemal w czasie rzeczywistym.

Wzmianki w sieci stały się walutą. Umieszczenie nazwy marki na niektórych stronach kosztuje – a, jak się okazuje, zadbanie o to, by marka była tam prawidłowo przedstawiana, również może wiązać się z kosztami. To istotne, ponieważ miejsca, w których wspomina się o Twojej marce, oraz treść tych wzmianek mogą mieć ogromny wpływ na jej widoczność w odpowiedziach AI.

Dlatego przydatna może być aplikacja taka jak nasza, która automatyzuje proces wyszukiwania i poprawiania nieprawidłowych informacji. Jak się jednak przekonaliśmy, jeśli nie chcesz oferować czegoś w zamian za aktualizację informacji o swojej marce, Twoje działania mogą nie przynieść większych efektów.

Większy problem leży jednak po stronie twórców systemów AI. Powinni oni rozwiązać kwestię tego, w jaki sposób AI wybiera wiarygodne źródła przy generowaniu odpowiedzi na pytania dotyczące marek. Obecnie ten proces tak naprawdę nikomu nie służy.

Nie można oczekiwać, że każdy twórca treści czy właściciel strony będzie nieustannie weryfikować informacje i aktualizować dane o każdej firmie. Można jednak oczekiwać, że sama firma będzie dbać o rzetelność informacji na swój temat. Ma ku temu wszelkie powody – błędne lub nieaktualne dane mogą bezpośrednio szkodzić jej działalności.

Systemy AI powinny lepiej to rozpoznawać. W przypadku podstawowych informacji o firmie aktualne i prawidłowe dane pochodzące bezpośrednio od niej powinny mieć większą wagę niż nieaktualna wzmianka w serwisie zewnętrznym.

Dzięki za lekturę! Będzie nam miło, jeśli napiszesz parę słów do Glena i Mateusza.