Ahrefs Botları
Ahrefs'te, araç ve hizmet paketimizi desteklemek için AhrefsBot ve AhrefsSiteAudit olmak üzere iki ana web tarayıcısı çalıştırıyoruz. Taramanın amacı, site sahiplerinin çevrimiçi varlıklarını iyileştirmelerine yardımcı olurken sunucularındaki yükü en aza indirmek ve güvenli, şeffaf bir tarama davranışı sağlamaktır.
Our bots
AhrefsBot
- User-agent token in robots.txt:
AhrefsBot Obeys robots.txt: Yes
Obeys crawl delay: Yes
AhrefsSiteAudit
- User-agent token in robots.txt:
AhrefsSiteAudit Obeys robots.txt: Yes by default (website owners can request to disobey robots.txt on their sites)
Obeys crawl delay: Yes by default (website owners can request to disobey crawl delay on their sites)
Cloudflare doğrulandı
Hem AhrefsBot hem de AhrefsSiteAudit, web güvenliği ve performansı alanında önde gelen bir şirket olan Cloudflare tarafından doğrulanmış "iyi" botlar olarak kabul edilmektedir.
IndexNow iş ortağı
Ahrefs tarafından geliştirilen bir arama motoru olan Yep, diğer büyük arama motorlarıyla birlikte IndexNow protokolünün resmî bir katılımcısıdır. Web sitesi sahiplerinin içerik güncellendiğinde bizi anında bilgilendirmesine yardımcı olarak dizine ekleme işleminin zamanında ve daha doğru bir şekilde yapılmasını sağlıyoruz.
Verification and IP lists
IP adresleri
Kamuya açık IP aralıklarından tarama yapıyoruz. IP adreslerimizi IP aralıkları veya Tekil IP'ler olarak çekebilirsiniz. IP'lerimizi nasıl beyaz listeye alabileceğiniz hakkında bilgi almak için yardım makalesini inceleyin.
Ters DNS
IP'lerin ana sunucu adının ters DNS son eki her zaman ahrefs.com veya ahrefs.net şeklindedir.
Web sitesi durumu
Web sitenizin botlarımız tarafından görüldüğü şekilde durumunu ve botlarımız tarafından taranıp taranamayacağını kontrol edebilirsiniz:
Benefits for site owners
AhrefsBot, web siteleri ve içerikleri hakkında yeni ve doğru bilgileri ve bunların birbirleriyle nasıl bağlantı kurduğunu dizine ekler. Bu veriler inanılmaz derecede faydalıdır ve birçok şekilde kullanılabilir:
- AhrefsBot powers Yep—an independent, privacy-focused search engine. Being included in Yep’s index helps site owners reach a new audience.
- AhrefsBot feeds data into Ahrefs toolset. Website owners can create a free Ahrefs webmaster account and verify domain ownership to unlock site analytics, including access to in-depth backlink data, website performance metrics, and content change monitoring. Ahrefs also offers a suite of free SEO tools that anyone can use without creating an account.
- AhrefsSiteAudit powers our Site Audit tool. Site Audit checks websites for technical and on-page issues such as broken links, slow performance, security misconfigurations, and SEO pitfalls. By crawling and rendering pages, we help identify improvements that can boost visibility, loading speed, and overall user experience. Ahrefs also provides the option to run Site Audit for free on verified websites, helping site owners discover and fix technical issues, all without incurring any charges
Policies and commitments
Robots.txt'ye uyma
Her iki bot da robots.txt'nin disallow ve allow kurallarının yanı sıra crawl-delay direktiflerine kesinlikle uyar. Sadece doğrulanmış site sahipleri, sitede normalde tarama izni verilmeyen bölümlerdeki sorunları kontrol edebilmek için AhrefsSiteAudit tarayıcısının sitelerinde robots.txt'ye uymamasına izin verebilir.
HTML sayfaları istenirken belirtilen hız limitlerini aşmamak için tarama gecikmesi kesinlikle uygulanır. Ancak JavaScript işlenirken bu uygulanamaz. Botlarımız bir sayfa işlediğinde aynı anda birden fazla varlık (ör. resimler, komut dosyaları, stil sayfaları) isteyebilir, bu da tarama gecikmesi ayarı tarafından izin verildiğinden daha sık olarak isteklerin sunucu günlüklerinde görünmesine neden olabilir. Modern web sayfalarının doğru şekilde işlenmesi ve işlevselliği için genellikle birden fazla kaynağın aynı anda yüklenmesi gerektiğinden bu davranış, gerçek bir kullanıcı deneyimini taklit eder.
Varlıkları önbelleğe alma
Tekrarlanan getirme işlemlerini en aza indirmek için taramalar sırasında sıklıkla istenen dosyaları (resimler, CSS, JS) önbelleğe alıyoruz, böylece bant genişliği tüketimini ve sunucu yükünü azaltıyoruz.
Yük yönetimi
Özellikle 4xx veya 5xx hataları gibi 200 dışı durum kodlarıyla karşılaştığımız takdirde bu site için tarama hızımızı otomatik olarak azaltırız. Bu işlem, kesinti yaşayan veya yüksek sunucu yükü altında olan sitelerdeki stresi en aza indirir.
Şeffaf uygulamalar
Barındırma hizmeti sağlayıcılarının, CDN'lerin ve CMS platformlarının botların müşteri siteleriyle nasıl etkileşim kuracağını yönetmek isteyebileceklerini anlıyoruz. Kamuya açık IP adreslerimiz ve kullanıcı aracısı dizelerimiz, sizin veya hizmet sağlayıcılarınızın meşru Ahrefs trafiğini hızlıca doğrulamanıza olanak tanır. Tarama faaliyetlerimiz hakkında şeffaf olmayı taahhüt ediyoruz, böylece güveni ve iş birliğini teşvik ediyoruz. Herhangi bir endişeniz varsa [email protected] adresinden bize ulaşın, size yardımcı olmak için elimizden geleni yapacağız.
Controlling bots behavior
Botlarımızı kontrol etmek için net ve kullanıcı dostu seçenekler sunuyoruz:
Robots.txt aracılığıyla
AhrefsBot veya AhrefsSiteAudit'in sitenizi ziyaret etme sıklığını değiştirmek için robots.txt dosyanızda art arda iki istek arasındaki kabul edilebilir minimum gecikmeyi belirtmeniz yeterlidir:
(Tarama-Gecikme değeri, saniye cinsinden zamandır.)
AhrefsBot veya AhrefsSiteAudit'in sitenizi veya sitenizin bir bölümünü ziyaret etmesini engellemek istiyorsanız Disallow direktiflerini kullanın:
Lütfen AhrefsBot'un robots.txt dosyanızdaki değişiklikleri algılamasının zaman alabileceğini unutmayın. Bu, bir sonraki planlı tarama öncesinde gerçekleşir. Doğrulanmış site sahipleri, sitede normalde tarama izni verilmeyen bölümlerdeki sorunları kontrol edebilmek için AhrefsSiteAudit tarayıcısının robots.txt'ye uymamasına izin verebilir.
Ayrıca robots.txt dosyanızda hatalar varsa botlarımız komutlarınızı tanıyamaz ve web sitenizi daha önce olduğu gibi taramaya devam eder. Robots.txt hakkında daha fazla bilgi için www.robotstxt.org adresini ziyaret edin.
200 dışı durum kodlarını döndürerek tarama hızını düşürme
AhrefsBot'un tarama hızını geçici olarak azaltabilirsiniz. Bu işlem, kesintilerin veya yapısal değişikliklerin yaşanması durumunda site üzerindeki yükün azaltılması gerektiğinde faydalı olabilir. Bir kesinti veya bakım aralığı süresince 4xx veya 5xx HTTP durum kodları döndürülerek tarama hızı geçici olarak azaltılabilir. Botumuz bu hataları algılar ve otomatik olarak geri çekilir.
Site Audit'te hız ayarlarını düzenleme
AhrefsSiteAudit botu, web sitesi sunucularındaki aşırı yükü önlemek amacıyla taramayı dakikada en fazla 30 URL ile sınırlar. Bir web sitesi sahibiyseniz site sorunları hakkında daha hızlı bir şekilde bilgi almak için kendi sitelerinizde daha yüksek hızda tarama yapabilirsiniz. Bunu yapmak için Site Audit aracında sahipliği doğrulamanız gerekir.
Bizimle iletişime geçme
Tarama sıklığımız hakkında endişeleriniz varsa veya şüpheli bir trafik fark ederseniz lütfen [email protected] adresinden bizimle iletişime geçin. Her türlü sorunu açıklığa kavuşturmaya ve çözmeye hazırız.