Ahrefs Botları

IP adresleri

Kamuya açık IP aralıklarından tarama yapıyoruz. IP adreslerimizi IP aralıkları veya Tekil IP'ler olarak çekebilirsiniz. IP'lerimizi nasıl beyaz listeye alabileceğiniz hakkında bilgi almak için yardım makalesini inceleyin.

Ters DNS

IP'lerin ana sunucu adının ters DNS son eki her zaman ahrefs.com veya ahrefs.net şeklindedir.

Web sitesi durumu

Web sitenizin botlarımız tarafından görüldüğü şekilde durumunu ve botlarımız tarafından taranıp taranamayacağını kontrol edebilirsiniz:

AhrefsBot, web siteleri ve içerikleri hakkında yeni ve doğru bilgileri ve bunların birbirleriyle nasıl bağlantı kurduğunu dizine ekler. Bu veriler inanılmaz derecede faydalıdır ve birçok şekilde kullanılabilir:

• AhrefsBot, bağımsız ve gizlilik odaklı bir arama motoru olan Yep'i besler. Yep'in dizinine dâhil olmak, site sahiplerinin yeni bir kitleye ulaşmasına yardımcı olur.
• AhrefsBot, Ahrefs araç setine veri sağlar. Web sitesi sahipleri, ücretsiz bir Ahrefs web yöneticisi hesabı oluşturabilir ve etki alanı sahipliğini doğrulayarak kapsamlı geri bağlantı verilerine erişim, web sitesi performans ölçümleri ve içerik değişikliğini izleme dâhil olmak üzere site analizlerine erişebilirler. Ayrıca Ahrefs, hesap oluşturmadan kullanılabilecek ücretsiz SEO araçlarından oluşan bir paket sunar.
• AhrefsSiteAudit, Site Audit aracımızı besler. Site Audit, bozuk bağlantılar, yavaş performans, güvenlikle ilgili yanlış yapılandırmalar ve SEO tehlikeleri gibi teknik ve sayfa içi sorunlar açısından web sitelerini kontrol eder. Sayfaları tarayıp işleyerek görünürlüğü, yükleme hızını ve genel kullanıcı deneyimini geliştirebilecek iyileştirmeleri tespit etmeye yardımcı oluruz. Ahrefs, doğrulanmış web sitelerinde Site Audit'i ücretsiz olarak çalıştırma seçeneği de sunar; böylece site sahipleri herhangi bir ücret ödemeden teknik sorunları tespit edebilir ve düzeltebilir

Robots.txt'ye uyma

Her iki bot da robots.txt'nin disallow ve allow kurallarının yanı sıra crawl-delay direktiflerine kesinlikle uyar. Sadece doğrulanmış site sahipleri, sitede normalde tarama izni verilmeyen bölümlerdeki sorunları kontrol edebilmek için AhrefsSiteAudit tarayıcısının sitelerinde robots.txt'ye uymamasına izin verebilir.

HTML sayfaları istenirken belirtilen hız limitlerini aşmamak için tarama gecikmesi kesinlikle uygulanır. Ancak JavaScript işlenirken bu uygulanamaz. Botlarımız bir sayfa işlediğinde aynı anda birden fazla varlık (ör. resimler, komut dosyaları, stil sayfaları) isteyebilir, bu da tarama gecikmesi ayarı tarafından izin verildiğinden daha sık olarak isteklerin sunucu günlüklerinde görünmesine neden olabilir. Modern web sayfalarının doğru şekilde işlenmesi ve işlevselliği için genellikle birden fazla kaynağın aynı anda yüklenmesi gerektiğinden bu davranış, gerçek bir kullanıcı deneyimini taklit eder.

Varlıkları önbelleğe alma

Tekrarlanan getirme işlemlerini en aza indirmek için taramalar sırasında sıklıkla istenen dosyaları (resimler, CSS, JS) önbelleğe alıyoruz, böylece bant genişliği tüketimini ve sunucu yükünü azaltıyoruz.

Yük yönetimi

Özellikle 4xx veya 5xx hataları gibi 200 dışı durum kodlarıyla karşılaştığımız takdirde bu site için tarama hızımızı otomatik olarak azaltırız. Bu işlem, kesinti yaşayan veya yüksek sunucu yükü altında olan sitelerdeki stresi en aza indirir.

Şeffaf uygulamalar

Barındırma hizmeti sağlayıcılarının, CDN'lerin ve CMS platformlarının botların müşteri siteleriyle nasıl etkileşim kuracağını yönetmek isteyebileceklerini anlıyoruz. Kamuya açık IP adreslerimiz ve kullanıcı aracısı dizelerimiz, sizin veya hizmet sağlayıcılarınızın meşru Ahrefs trafiğini hızlıca doğrulamanıza olanak tanır. Tarama faaliyetlerimiz hakkında şeffaf olmayı taahhüt ediyoruz, böylece güveni ve iş birliğini teşvik ediyoruz. Herhangi bir endişeniz varsa [email protected] adresinden bize ulaşın, size yardımcı olmak için elimizden geleni yapacağız.