Di Ahrefs, kami mengoperasikan dua web crawler utama—AhrefsBot dan AhrefsSiteAudit—untuk mendukung rangkaian alat dan layanan kami. Tujuan penjelajahan kami adalah untuk membantu pemilik situs meningkatkan kehadiran online, sekaligus mengurangi beban pada server mereka, dan memastikan perilaku penjelajahan yang aman dan transparan.
Mematuhi robots.txt: Ya
Mematuhi crawl delay: Ya
Mematuhi robots.txt: Ya secara default (pemilik situs web dapat meminta untuk tidak mematuhi robots.txt di situs mereka)
Mematuhi crawl delay: Ya, secara default (pemilik situs web dapat meminta untuk tidak mematuhi crawl delay di situs mereka)
AhrefsBot dan AhrefsSiteAudit diakui sebagai bot "baik" yang terverifikasi oleh Cloudflare, sebuah perusahaan kinerja dan keamanan web terkemuka.
Kami menjalankan penjelajahan pada rentang IP yang dipublikasikan secara publik. Anda dapat mengambil alamat IP kami sebagai Rentang IP atau IP Individual. Anda dapat menemukan informasi tentang cara mengizinkan alamat IP kami di artikel bantuan.
Sufiks Reverse DNS dari hostname IP selalu ahrefs.com atau ahrefs.net.
Anda dapat memeriksa status situs web Anda sebagaimana dilihat oleh bot kami dan apakah situs web Anda dapat dijelajahi oleh bot kami:
AhrefsBot mengindeks informasi terbaru dan akurat tentang situs web dan kontennya, serta bagaimana situs web terhubung satu sama lain. Data ini sangat berguna dan dapat dimanfaatkan dengan banyak cara:
Kedua bot sangat mematuhi robots.txt pada aturan disallow dan allow, serta perintah crawl-delay. Hanya pemilik situs yang telah terverifikasi yang dapat mengizinkan crawler AhrefsSiteAudit untuk tidak mematuhi robots.txt di situs mereka sehingga mereka dapat memeriksa masalah pada bagian situs yang biasanya tidak diizinkan untuk dijelajahi.
Crawl-delay diikuti secara ketat saat meminta halaman HTML untuk memastikan bahwa kami tidak melampaui batas kecepatan yang ditentukan. Namun, crawl-delay tidak dapat diikuti saat merender JavaScript. Ketika bot kami merender halaman, bot kami mungkin meminta beberapa aset (misalnya, gambar, skrip, stylesheet) secara bersamaan, yang dapat mengakibatkan permintaan lebih sering muncul di log server daripada yang diizinkan oleh pengaturan crawl-delay. Perilaku ini meniru pengalaman pengguna nyata, karena halaman web modern sering kali membutuhkan beberapa sumber daya untuk dimuat sekaligus untuk rendering dan fungsionalitas yang tepat.
Pada saat penjelajahan, kami menyimpan file yang sering diminta (gambar, CSS, JS) di cache untuk meminimalkan pengambilan berulang agar mengurangi konsumsi bandwidth dan beban server.
Jika kami menemukan kode status non-200, terutama kesalahan 4xx atau 5xx, kami secara otomatis mengurangi kecepatan penjelajahan untuk situs tersebut. Tindakan kami ini memastikan tekanan minimal pada situs yang mungkin mengalami gangguan atau beban server tinggi.
Kami memahami bahwa penyedia hosting, CDN, dan platform CMS mungkin ingin mengelola cara bot berinteraksi dengan situs pelanggan mereka. Alamat IP dan string user-agent kami yang tersedia untuk publik memungkinkan Anda atau penyedia layanan Anda untuk dengan cepat memverifikasi traffic Ahrefs yang sah. Kami berkomitmen untuk bersikap transparan tentang aktivitas penjelajahan kami untuk menumbuhkan kepercayaan dan kolaborasi. Jika Anda memiliki kekhawatiran, silakan hubungi [email protected] dan kami akan melakukan yang terbaik untuk membantu.
Kami menyediakan opsi yang jelas dan ramah pengguna untuk mengontrol bot kami:
Untuk mengubah frekuensi kunjungan AhrefsBot atau AhrefsSiteAudit ke situs Anda, cukup tentukan jeda minimal antara dua permintaan berturut-turut di file robots.txt Anda:
(Dengan nilai Crawl-Delay adalah waktu dalam detik.)
Jika Anda ingin menghentikan AhrefsBot atau AhrefsSiteAudit dari mengunjungi situs Anda atau sebagian dari situs Anda, gunakan perintah Disallow:
Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memperbarui perubahan di file robots.txt Anda. Pembaruan ini dilakukan sebelum penjelajahan terjadwal berikutnya. Pemilik situs yang telah terverifikasi dapat mengizinkan crawler AhrefsSiteAudit untuk tidak mematuhi robots.txt di situs mereka, sehingga mereka dapat memeriksa masalah di bagian situs yang biasanya tidak diizinkan untuk dijelajahi.
Juga, jika robots.txt Anda mengandung kesalahan, bot kami tidak akan dapat mengenali perintah Anda dan akan terus menjelajahi situs web Anda seperti sebelumnya. Baca lebih lanjut tentang robots.txt di www.robotstxt.org.
Anda dapat mengurangi kecepatan penjelajahan AhrefsBot untuk sementara waktu. Tindakan ini mungkin berguna dalam kasus gangguan atau perubahan infrastruktur ketika beban pada situs harus dikurangi. Mengurangi laju penjelajahan untuk sementara waktu dapat dilakukan dengan mengembalikan kode status HTTP 4xx atau 5xx untuk durasi gangguan atau jendela pemeliharaan. Bot kami akan mendeteksi kesalahan tersebut dan mengurangi kecepatan secara otomatis.
Bot AhrefsSiteAudit mencegah beban berlebih pada server situs web dengan membatasi penjelajahan hingga maksimal 30 URL per menit. Jika Anda adalah pemilik situs web, Anda dapat menjelajahi situs Anda sendiri dengan kecepatan lebih tinggi jika Anda ingin mendapatkan notifikasi masalah situs dengan lebih cepat. Untuk melakukan itu, Anda harus memverifikasi kepemilikan di alat Site Audit.
Jika Anda khawatir mengenai seberapa sering kami menjalankan penjelajahan atau jika Anda melihat traffic mencurigakan yang ingin Anda konfirmasi, silakan hubungi kami di [email protected]. Kami siap membantu menjelaskan dan menyelesaikan setiap masalah.