Bot Ahrefs
Di Ahrefs, kami mengoperasikan dua web crawler utama, yaitu AhrefsBot dan AhrefsSiteAudit, untuk mendukung rangkaian alat dan layanan kami. Tujuan crawling kami adalah membantu pemilik situs meningkatkan kehadiran online sembari mengurangi beban pada server mereka, serta memastikan perilaku crawling yang aman dan transparan.
Bot kami
AhrefsBot
- Token user-agent di robots.txt:
AhrefsBot Mematuhi robots.txt: Ya
Mematuhi penundaan crawl: Ya
AhrefsSiteAudit
- Token user-agent di robots.txt:
AhrefsSiteAudit Mematuhi robots.txt: Ya secara default (pemilik situs web dapat meminta untuk tidak mematuhi robots.txt di situs mereka)
Mematuhi penundaan crawl: Ya, secara default (pemilik situs web dapat meminta untuk tidak mematuhi penundaan crawl di situs mereka)
Cloudflare terverifikasi
AhrefsBot dan AhrefsSiteAudit diakui sebagai bot "baik" yang terverifikasi oleh Cloudflare, sebuah perusahaan kinerja dan keamanan web terkemuka.
Daftar verifikasi dan IP
Alamat IP
Kami menjalankan crawling pada rentang IP publik. Anda dapat mengambil alamat IP kami sebagai Rentang IP atau IP Individual. Anda dapat menemukan informasi tentang cara mengizinkan alamat IP kami di artikel bantuan.
Reverse DNS
Sufiks Reverse DNS dari hostname IP selalu ahrefs.com atau ahrefs.net.
Status situs web
Anda dapat memeriksa status situs web Anda sebagaimana dilihat oleh bot kami dan jika situs web Anda dapat di-crawl oleh bot kami:
Keuntungan untuk pemilik situs
AhrefsBot mengindeks informasi terbaru dan akurat tentang situs web dan kontennya, serta bagaimana situs web terhubung satu sama lain. Data ini sangat berguna dan dapat dimanfaatkan dengan banyak cara:
- AhrefsBot mendukung Yep—sebuah mesin pencari independen yang berfokus pada privasi. Penyertaan dalam indeks Yep akan membantu pemilik situs menjangkau audiens baru.
- AhrefsBot memberi data ke rangkaian alat Ahrefs. Pemilik situs web dapat membuat akun Ahrefs Webmaster gratis dan memverifikasi kepemilikan domain untuk membuka analisis situs, termasuk akses ke data backlink mendalam, metrik kinerja situs web, dan pemantauan perubahan konten. Ahrefs juga menawarkan rangkaian alat SEO gratis yang dapat digunakan siapa saja tanpa membuat akun.
- AhrefsSiteAudit mendukung alat Site Audit kami. Site Audit memeriksa situs web untuk menemukan masalah teknis dan on-page seperti tautan rusak, kinerja lambat, kesalahan konfigurasi keamanan, dan jebakan SEO. Dengan menjalankan crawling dan merender halaman, kami membantu mengidentifikasi perbaikan yang dapat meningkatkan visibilitas, kecepatan pemuatan, dan pengalaman pengguna secara keseluruhan. Ahrefs juga menyediakan opsi untuk menjalankan Site Audit secara gratis pada situs yang telah diverifikasi, membantu pemilik situs menemukan dan memperbaiki masalah teknis, semuanya tanpa biaya apapun.
Kebijakan dan komitmen
Mematuhi Robots.txt
Kedua bot sangat mematuhi robots.txt pada aturan disallow dan allow, serta perintah crawl-delay. Hanya pemilik situs yang telah terverifikasi yang dapat mengizinkan crawler AhrefsSiteAudit untuk tidak mematuhi robots.txt di situs mereka sehingga mereka dapat memeriksa masalah pada bagian situs yang biasanya tidak diizinkan untuk crawling.
Crawl-delay diikuti secara ketat saat meminta halaman HTML untuk memastikan bahwa kami tidak melampaui batas kecepatan yang ditentukan. Namun, crawl-delay tidak dapat diikuti saat merender JavaScript. Ketika bot kami merender halaman, bot kami mungkin meminta beberapa aset (misalnya, gambar, skrip, stylesheet) secara bersamaan, yang dapat mengakibatkan permintaan lebih sering muncul di log server daripada yang diizinkan oleh pengaturan crawl-delay. Perilaku ini meniru pengalaman pengguna nyata, karena halaman web modern sering kali membutuhkan beberapa sumber daya untuk dimuat sekaligus untuk rendering dan fungsionalitas yang tepat.
Menyimpan aset di cache
Pada saat crawling, kami menyimpan file yang sering diminta (gambar, CSS, JS) di cache untuk meminimalkan pengambilan berulang agar mengurangi konsumsi bandwidth dan beban server.
Manajemen beban
Jika kami menemukan kode status non-200, terutama kesalahan 4xx atau 5xx, kami secara otomatis mengurangi kecepatan crawl untuk situs tersebut. Tindakan kami ini memastikan tekanan minimal pada situs yang mungkin mengalami gangguan atau beban server tinggi.
Praktik transparan
Kami memahami bahwa penyedia hosting, CDN, dan platform CMS mungkin ingin mengelola cara bot berinteraksi dengan situs pelanggan mereka. Alamat IP dan string user-agent kami yang tersedia untuk publik memungkinkan Anda atau penyedia layanan Anda untuk dengan cepat memverifikasi traffic Ahrefs yang sah. Kami berkomitmen untuk bersikap transparan tentang aktivitas crawling kami untuk menumbuhkan kepercayaan dan kolaborasi. Jika Anda memiliki kekhawatiran, silakan hubungi [email protected] dan kami akan melakukan yang terbaik untuk membantu.
Mengontrol perilaku bot
Kami menyediakan opsi yang jelas dan ramah pengguna untuk mengontrol bot kami:
Melalui Robots.txt
Untuk mengubah frekuensi kunjungan AhrefsBot atau AhrefsSiteAudit ke situs Anda, cukup tentukan jeda minimal antara dua permintaan berturut-turut di file robots.txt Anda:
(Nilai Crawl-Delay dalam detik.)
Jika Anda ingin menghentikan AhrefsBot atau AhrefsSiteAudit dari mengunjungi situs Anda atau sebagian dari situs Anda, gunakan perintah Disallow:
Harap perhatikan bahwa AhrefsBot mungkin memerlukan waktu untuk memperbarui perubahan di file robots.txt Anda. Pembaruan ini dilakukan sebelum crawling terjadwal berikutnya. Pemilik situs yang telah terverifikasi dapat mengizinkan crawler AhrefsSiteAudit untuk tidak mematuhi robots.txt di situs mereka, sehingga mereka dapat memeriksa masalah di bagian situs yang biasanya tidak diizinkan untuk crawling.
Jika robots.txt Anda mengandung kesalahan, bot kami tidak akan dapat mengenali perintah Anda dan akan terus menjalankan crawling di situs web Anda seperti sebelumnya. Baca lebih lanjut tentang robots.txt di www.robotstxt.org.
Mengembalikan kode status non-200 untuk mengurangi kecepatan crawl
Anda dapat mengurangi kecepatan crawl AhrefsBot untuk sementara waktu. Tindakan ini mungkin berguna dalam kasus gangguan atau perubahan infrastruktur ketika beban pada situs harus dikurangi. Mengurangi kecepatan crawl untuk sementara waktu dapat dilakukan dengan mengembalikan kode status HTTP 4xx atau 5xx untuk durasi gangguan atau jendela pemeliharaan. Bot kami akan mendeteksi kesalahan tersebut dan mengurangi kecepatan secara otomatis.
Menyesuaikan pengaturan kecepatan di Site Audit
Bot AhrefsSiteAudit mencegah beban berlebih pada server situs web dengan membatasi crawling hingga maksimal 30 URL per menit. Jika Anda adalah pemilik situs web, Anda dapat menjalankan crawling di situs Anda sendiri dengan kecepatan lebih tinggi jika ingin mendapatkan notifikasi masalah situs dengan lebih cepat. Untuk melakukan itu, Anda harus memverifikasi kepemilikan di alat Site Audit.
Menghubungi kami
Jika Anda khawatir mengenai seberapa sering kami menjalankan crawling atau jika Anda melihat traffic mencurigakan yang ingin Anda konfirmasi, silakan hubungi kami di [email protected]. Kami siap membantu menjelaskan dan menyelesaikan setiap masalah.