Web Sitenizi Yanıt Motorları İçin Nasıl Optimize Edebilirsiniz?

Bu kılavuzdaki ipuçlarının hiçbiri, yapay zekâ tarayıcıları sayfalarınızı okuyamıyorsa işe yaramaz. Engellenen sayfalar alıntılanamaz ve bu durum çoğu zaman kazara olur.

Yaklaşık 140 milyon web sitesini analiz ettik ve GPTBot’un artık en çok engellenen yapay zekâ botu olduğunu (sitelerin %5,89’unda) gördük. ClaudeBot da hemen arkasından gelmektedir.

Cloudflare, varsayılan olarak yapay zekâ platformlarını engeller; bu yüzden CDN’nizin siz farkında olmadan sizi kapsam dışında bırakmadığından emin olun.

“Yapay zekâ tarayıcılarına izin vermek” tek bir karar değildir çünkü her platform, farklı işler yapan birkaç bot kullanmaktadır.

Yalnızca OpenAI üç tane bot kullanır:

• GPTBot, eğitim için içerik toplar
• OAI-SearchBot, ChatGPT’nin veri topladığı arama dizinini oluşturur
• ChatGPT-User, biri sohbetin ortasında bir sayfayı sorduğunda sayfayı canlı olarak getirir

Bunların her biri için verilen ödün farklıdır. GPTBot’u engellemek, içeriklerinizin bir sonraki modelin eğitim verilerine girmesini önler; yayımcıların genelde değerlendirdikleri karar da budur. OAI-SearchBot’u engellemek ise sizi ChatGPT’nin arama yaptığı dizinin dışında tutar; size alıntı ve yönlendirme trafiği kaybettiren şey de budur. Pek çok site, yalnızca ilkini engellemeyi amaçlarken yanlışlıkla ikincisini de engeller.

Ne durumda olduğunuzu görmenin en hızlı yolu, AI Crawler Access Checker gibi bir araç kullanmaktır; bu araç, robots.txt dosyanızı okur ve hangi tarayıcıların geçişine izin verildiğini söyler.

Hangi botların sitenize girmesine izin verildiğinden ziyade hangilerinin gerçekten girdiğini görmek için Ahrefs Bot Analytics'e göz atın. Cloudflare üzerinden alınan sunucu tarafı verileri kullanarak özel bir yapay zekâ filtresi de dâhil olmak üzere 12 bot kategorisindeki ziyaretleri takip eder; dolayısıyla sitenize JavaScript eklemeden çalışır.

Yapay zekâ tarayıcıları, genellikle ham HTML’yi okur ve çoğu zaman JavaScript’i bir tarayıcı gibi işlemez.

Bu da, bu tarayıcıların yalnızca istemci tarafındaki JS yüklendikten sonra görünen içerikleri göremeyeceği anlamına gelir.

Bu yüzden temkinli davranın ve sayfanızın yapay zekâ görünürlüğü şansını en üst düzeye çıkarmak için sunucu tarafı işlemeyi tercih edin.

Yavaş yüklenen sayfalar, geleneksel aramadaki performansınızı olumsuz etkileyebilir ancak görünen o ki yanıt motorlarında bu durumun çok daha ağır bir bedeli var. Görünüşe göre sayfa hızı, modelin bağlam penceresine girip giremeyeceğinizi belirlemeye de yardımcı oluyor.¹

Site Audit'te sayfa hızınızı (ilk bayta kadar geçen süre olarak da bilinir) kontrol edin:

llms.txt, kök etki alanınızda (ör. websitesi.com/llms.txt) yer alan bir Markdown dosyası için önerilen bir standarttır ve LLM’lere en iyi içeriklerinizin nerede olduğunu söyler: belgeler, politikalar, ürün taksonomileri. Prensip olarak bu, dil modelleri için robots.txt dosyası gibidir.

Ama pratikte, hiçbir büyük LLM sağlayıcısı bunu okuyacağına dair bir taahhütte bulunmamıştır. Ne OpenAI ne Anthropic ne de Google.

Bir web sitesi llms.txt dosyası eklediğinde gerçekte ne olduğunu kontrol ettik. Ahrefs Web Analytics kullanan 137.000 etki alanı arasından %28’i bir llms.txt dosyası yayımlıyor. Geçerli bir dosyası olan yaklaşık 38.000 etki alanının %97’si ise ölçtüğümüz ay boyunca bu dosya için sıfır istek aldı.

Alınan az sayıdaki dosyaya bakıldığında isteklerin %96’sının botlardan geldiği görülmüştür. Bağlantı ön izlemesi botu olan Slackbot, llms.txt dosyasını PerplexityBot’tan daha sık almıştır. Basitçe ifade etmek gerekirse, en önemli yapay zekâ arama motorları bu dosyayı pek kullanıyor gibi görünmüyor.

Google bu konuda açık sözlü davranmıştır. Üretken yapay zekâ özelliklerine yönelik optimizasyon kılavuzunda yer alan “efsaneleri çürütme” adlı bölümde, site sahiplerine llms.txt gibi makine tarafından okunabilir dosyaların üretken yapay zekâ aramalarında görünmek için gerekli olmadığı anlatılmaktadır. John Mueller, konuyu daha da ileriye taşıyarak bunu eski anahtar kelimeler meta etiketiyle kıyaslamıştır:

Bu durumda siz de bu dosyadan bir tane hazırlamalı mısınız? Geliştirici belgeleri yayımlıyorsanız bu işlem yaklaşık on dakikanızı alır ve makul bir kullanım senaryosu vardır. Mueller bunu, belgeleri ayrıştıran yapay zekâ kodlama araçları için “birkaç belirteç tasarrufu için düşünülebilecek geçici bir destek” olarak tanımlamıştır. Diğer herkes içinse, ölçülmüş bir getirisi olmayan bir çabadır. Ayrıca rakiplerinizin içeriklerinize topluca erişebilmesini biraz daha elverişli hâle getirmek gibi küçük bir dezavantajı da vardır.

Yapay zekâ asistanları, web sitenize yönlendiriyormuş gibi görünen yanıltıcı bağlantılar oluşturmaktadır ve bunu sık sık yaparlar. ChatGPT, Perplexity, Copilot, Gemini, Claude ve Mistral tarafından alıntılanan 16 milyon URL’nin HTTP durumunu kontrol ettik ve yapay zekâ asistanlarının ziyaretçileri Google aramasına kıyasla 2,87 kat daha sık 404 sayfalarına yönlendirdiğini gördük.

ChatGPT, bunun açık ara en kötü örneğini sergilemektedir. Tıklanan URL’lerinin %1,01’i 404 hatası döndürüyor; Google’da ise bu oran %0,15.

Perplexity (%0,87) ve Gemini (%0,86), alıntılanan URL’ler açısından Google’ın %0,84'lik oranıyla neredeyse aynı seviyede. Bu mantıklı bir durum çünkü iki platform da verilerini Google dizininden alıyor ve dolayısıyla kendi yanıltıcı bağlantılarını oluşturmak yerine Google’ın bozuk bağlantılarını kullanmış oluyor.

Uydurma URL’ler, mevcut modellerinizden yola çıkarak oluşturulur. Sitemiz için yaygın olarak kullanılan yanıltıcı bir URL, ahrefs.com/keywords adresiydi. Sürekli olarak anahtar kelimeler hakkında yazılar yazdığımızdan model de böyle bir sayfanın mutlaka var olması gerektiğini varsayıyordu. Ancak böyle bir sayfamız yok.

Bu, AEO alanında gerçekten nadir olarak görülen kolay kazanımlardan biridir. Bir kullanıcı gerçek bir niyetle ürününüz hakkında soru sorar ve sitenize yönlendirilirse ancak bir sonuca ulaşamazsa bunun üç farklı nedeni olduğunu göreceksiniz:

• Yanıltıcı URL’ler. Bir modelin URL yapınızdan esinlenerek uydurduğu sayfalar.
• Güncelliğini yitirmiş URL’ler. Bir zamanlar mevcut olan ve eğitim verilerinden veya diğer eski veri kaynaklarından hatırlanan sayfalar.
• Yanlış yazılmış veya biraz farklı olan URL’ler. Gerçek sayfalara çok yakın ancak hatalı olan eşleşmeler.

Bu nedenle, Web Analytics’e yanıltıcı URL’leri yalnızca iki tıklamayla bulmanıza yardımcı olacak bir filtre ekledik. Aylık 1 milyon etkinliğe kadar ücretsiz olan basit bir Google Analytics alternatifi arıyorsanız bu özelliğe bir göz atın:

Yanıltıcı bir URL tekrar tekrar isteniyorsa model, size ziyaretçilerinizin sizde olmasını beklediği sayfanın hangisi olduğunu söylüyordur.

Bu kılavuzdaki her taktik en nihayetinde tek bir etmene bağlıdır: Yapay zekâ sistemleri markanızı ayrı bir varlık olarak tanıyor mu yoksa tanımıyor mu?

54 milyar varlık ve aralarındaki ilişkiye dair 1,6 trilyondan fazla bilgiden oluşan bir veri tabanı olan Google Bilgi Grafiği, artık yalnızca Bilgi Panelleri’nin arkasındaki motor değildir.

Artık AI Overviews, AI Mode ve Gemini için temel altyapı konumundadır.

Markanız siteniz genelinde, yapılandırılmış verilerde ve itibarı yüksek üçüncü taraf kaynaklarda tutarlı sinyallerle net biçimde bir varlık olarak belirtilmediyse yalnızca mavi bağlantılarda değil, yapay zekâ yanıtlarında da görünmeme riskiniz vardır.

Şema, çoğu zaman yapay zekâ görünürlüğünde kolay bir kazanım gibi pazarlanır ve yüzeydeki korelasyon ikna edici görünür: Yapay zekânın alıntıladığı sayfaların JSON-LD’ye sahip olma olasılığı neredeyse üç kat daha fazladır.

Ama korelasyon bunun nedeni değildir. JSON-LD ekleyen 1.885 sayfayı 4.000 kontrol sayfasıyla karşılaştırmalı olarak izledik ve AI Mode veya ChatGPT’de anlamlı bir artış göremedik. Ayrıca AI Overviews için de şemaya bağlayamadığımız küçük bir düşüş gözlemledik.

O hâlde bu şema işe yaramıyor mu? Cevap hayır ancak şemanın rolü yavaş ve dolaylıdır, hızlı sonuç veren bir taktik değildir.

Google’ın Bilgi Grafiği API’sini veya ücretsiz bir aracı kullanarak Google’ın sizi zaten tanıyıp tanımadığını, size hangi varlık türünü atadığını ve özelliklerin doğru olup olmadığını kontrol edebilirsiniz.

Örneğin Carl Hendy’nin Bilgi Grafiği Aracı kişiler, şirketler, ürünler, yerler ve diğer varlık türleri için sonuçları gösterir.

Buradan hareketle, itibarı yüksek yayım organlarında markanızdan bahsedilmesini sağlamaya çalışın ve bilgilerinizin her yerde tutarlı olmasına dikkat edin: Sitenizde, profillerinizde ve üçüncü taraf listelerinde aynı ad, açıklama ve kategori olmalı.

Ardından doğal olan yerlere şema ekleyerek varlığınızı ve ilişkilerini tanımlayan türlere öncelik verin:

• Wikipedia sayfanıza, Wikidata sayfanıza ve sosyal medya profillerinize bağlantı veren Organization ve sameAs şeması

• Sitenizdeki yazarlar için kişi şeması

• Sunduğunuz hizmetler için ürün şeması

Bu yazımın sonuna gelirken son bir düşüncemi daha paylaşmak istiyorum: Etkilemeye çalıştığınız “okuyucuların” giderek daha büyük bir kısmı, aslında hedef kitleniz adına gezinen ve satın alan yapay zekâ temsilcileridir.

Hatta Haziran 2026’da Cloudflare CEO’su Matthew Prince, temsilci tabanlı (bot/tarayıcı/temsilci) trafiğin internet tarihinde ilk kez %50 eşiğini aştığını açıkladı.^{2, 3}

“Temsilci tabanlı yapay zekâ” aramaları üç yılda 84 kat artmıştır ve bu durum bir istisna veya yenilik olmaktan çok uzaktır. Çünkü temsilci kullanmanın maliyeti dolar seviyesinden sent seviyesine düşmüştür.

Henüz web sitenizi sırf yapay zekâ temsilcileri için yeniden oluşturmanız gerekmiyor. Ancak içeriklerinizi sadece insanlar için üretip robotları dert etmeme yönündeki eski tavsiyeler, eskisi kadar geçerli olmayabilir.

Bu bölüm, insanların güvendiği yapay zekâyı etkilemekle ilgilidir. Temsilciler arası pazarlama da tam olarak budur ancak bir adım daha ileri taşınmış hâlidir.