Cara Mengoptimalkan Situs Web Anda untuk Mesin Jawaban

Tidak satu pun tips di panduan ini penting jika crawler AI tidak bisa membaca halaman Anda. Halaman yang diblokir tidak dapat dikutip, dan ini sering terjadi tanpa sengaja.

Kami menganalisis sekitar 140 juta situs web dan menemukan GPTBot kini menjadi bot AI yang paling sering diblokir (5,89% situs), dengan ClaudeBot menyusul di belakangnya.

Cloudflare secara default memblokir platform AI, jadi pastikan CDN Anda tidak diam-diam menonaktifkan akses Anda.

“Mengizinkan crawler AI” bukanlah satu keputusan saja, karena setiap platform menjalankan beberapa bot yang melakukan pekerjaan berbeda.

OpenAI saja menjalankan tiga:

• GPTBot mengumpulkan konten untuk pelatihan
• OAI-SearchBot membangun indeks pencarian yang digunakan ChatGPT untuk mengambil informasi
• ChatGPT-User mengambil halaman secara langsung saat seseorang menanyakannya di tengah percakapan

Komprominya berbeda untuk masing-masing. Memblokir GPTBot membuat konten Anda tidak masuk ke data pelatihan model berikutnya—ini keputusan yang biasanya sedang dipertimbangkan penerbit. Memblokir OAI-SearchBot menghapus Anda dari indeks yang digunakan ChatGPT untuk melakukan pencarian, dan inilah yang saat ini membuat Anda kehilangan kutipan dan traffic rujukan. Banyak situs tidak sengaja memblokir yang kedua, padahal hanya bermaksud memblokir yang pertama.

Cara tercepat untuk melihat posisi Anda adalah menggunakan tool seperti AI Crawler Access Checker, yang membaca robots.txt Anda dan memberi tahu crawler mana yang diizinkan masuk.

Untuk melihat bot mana yang benar-benar muncul, bukan sekadar mana yang diizinkan, cek Bot Analytics Ahrefs. Ini melacak kunjungan di 12 kategori bot, termasuk filter AI khusus, menggunakan data sisi server melalui Cloudflare, jadi bisa berfungsi tanpa menambahkan JavaScript apa pun ke situs Anda.

Crawler AI cenderung membaca HTML mentah dan biasanya tidak merender JavaScript seperti yang dilakukan browser.

Artinya, apa pun yang hanya muncul setelah JS sisi klien bisa jadi tidak terlihat oleh mereka.

Main aman dan gunakan server-side rendering agar halaman Anda punya peluang terbaik untuk terlihat oleh AI.

Halaman yang lambat dimuat dapat berdampak negatif pada performa Anda di pencarian tradisional, tetapi tampaknya dampaknya bahkan lebih besar di mesin jawaban. Kecepatan halaman tampaknya membantu menentukan apakah Anda bisa masuk ke jendela konteks model sama sekali.¹

Periksa kecepatan halaman Anda (dikenal sebagai time-to-first-byte) di Site Audit:

llms.txt adalah standard yang diusulkan untuk file Markdown di root domain Anda (misalnya website.com/llms.txt) yang memberi tahu LLM di mana konten terbaik Anda berada: dokumentasi, kebijakan, taksonomi produk. Pada prinsipnya, ini seperti robots.txt untuk model bahasa.

Namun dalam praktiknya, tidak ada penyedia LLM besar yang berkomitmen untuk membacanya. Bukan OpenAI, bukan Anthropic, bukan Google.

Kami memeriksa apa yang sebenarnya terjadi ketika sebuah website menambahkan llms.txt. Dari 137.000 domain yang menggunakan Ahrefs Web Analytics, 28% menerbitkan file llms.txt. Dari ~38.000 yang memiliki file valid, 97% menerima nol permintaan untuk file tersebut pada bulan yang kami ukur.

Dari sebagian kecil file yang memang sempat diambil, 96% permintaan berasal dari bot. Slackbot, bot pratinjau link, mengambil llms.txt lebih sering daripada PerplexityBot. Singkatnya, mesin pencari AI terpenting tampaknya tidak menggunakannya.

Google sudah menyatakannya dengan jelas. Panduannya tentang mengoptimalkan fitur AI generatif memiliki bagian yang secara harfiah berjudul “membongkar mitos” yang mengatakan bahwa file yang dapat dibaca mesin seperti llms.txt tidak diperlukan agar bisa muncul di penelusuran AI generatif. John Mueller melangkah lebih jauh, membandingkannya dengan tag meta keywords lama:

Jadi, apakah Anda perlu membuatnya? Jika Anda menerbitkan dokumentasi developer, biayanya sekitar sepuluh menit dan ada kasus penggunaan yang masuk akal. Mueller menggambarkannya sebagai “penopang sementara, mungkin untuk menghemat beberapa token” bagi tool coding AI yang mengurai dokumentasi. Untuk yang lain, ini adalah upaya tanpa hasil yang terukur, ditambah sedikit sisi negatif karena membuat konten Anda lebih mudah di-scrape secara massal oleh kompetitor.

Asisten AI mengarang link ke website Anda, dan mereka sering melakukannya. Kami memeriksa status HTTP dari 16 juta URL yang dikutip oleh ChatGPT, Perplexity, Copilot, Gemini, Claude, dan Mistral, dan menemukan bahwa asisten AI mengarahkan pengunjung ke halaman 404 2,87 kali lebih sering daripada Google Search.

ChatGPT adalah yang paling bermasalah dengan selisih yang jauh. Sebanyak 1,01% URL yang dikliknya menghasilkan 404, dibandingkan patokan Google sebesar 0,15%.

Perplexity (0,87%) dan Gemini (0,86%) berada hampir tepat di angka 0,84% milik Google sendiri untuk URL yang dikutip. Itu masuk akal, karena keduanya mengambil dari indeks Google, sehingga mereka mewarisi tautan rusak dari Google alih-alih menciptakan link mereka sendiri.

URL yang dikarang disimpulkan dari pola yang sudah ada. Salah satu URL halusinasi yang umum untuk situs kami adalah ahrefs.com/keywords, karena kami terus-menerus menulis tentang kata kunci dan model menganggap halaman seperti itu pasti ada. Ternyata tidak ada.

Ini adalah salah satu dari sedikit kemenangan AEO yang benar-benar gratis. Seseorang dengan niat yang nyata bertanya tentang produk Anda, diarahkan ke situs Anda, lalu menemui jalan buntu. Anda akan menemukan tiga tipe yang berbeda:

• URL yang dihalusinasi. Halaman yang diciptakan model berdasarkan struktur URL Anda.
• URL usang. Halaman yang dulu pernah ada, diingat dari data pelatihan atau sumber data usang lainnya.
• URL yang salah eja atau variasi. URL yang nyaris sama dengan halaman asli.

Karena itu, kami menambahkan filter di Web Analytics yang akan membantu Anda menemukan URL halusinasi hanya dalam dua klik. Jika Anda mencari alternatif Google Analytics yang sederhana, gratis hingga 1 juta event tiap bulan, cek ini:

Jika URL halusinasi terus diminta, model itu sedang memberi tahu Anda halaman mana yang pengunjung Anda harapkan tersedia di situs Anda.

Setiap taktik dalam panduan ini pada akhirnya bergantung pada satu hal: apakah sistem AI mengenali brand Anda sebagai entitas yang berbeda.

Knowledge Graph Google—basis data berisi 54 miliar entitas dan lebih dari 1,6 triliun fakta tentang bagaimana entitas-entitas tersebut saling berhubungan—kini bukan lagi sekadar mesin di balik panel pengetahuan.

Sekarang ini menjadi infrastruktur inti untuk AI Overview, AI Mode, dan Gemini.

Jika merek Anda tidak terbentuk dengan jelas sebagai sebuah entitas—dengan sinyal yang konsisten di seluruh situs Anda, data terstruktur, dan sumber pihak ketiga yang otoritatif—Anda berisiko tidak terlihat dalam jawaban AI, bukan hanya di link biru.

Schema sering dipromosikan sebagai kemenangan cepat untuk visibilitas AI, dan korelasi permukaannya terlihat meyakinkan: halaman yang dikutip AI hampir tiga kali lebih mungkin memiliki JSON-LD.

Namun korelasi bukanlah sebab. Kami melacak 1.885 halaman yang menambahkan JSON-LD dibandingkan 4.000 kontrol dan tidak menemukan peningkatan yang berarti di AI Mode maupun ChatGPT, serta penurunan kecil di AI Overview yang tidak bisa kami kaitkan dengan schema.

Jadi, apakah schema tidak berguna? Tidak, tetapi perannya lambat dan tidak langsung, bukan taktik untuk meraih hasil cepat.

Anda bisa memeriksa apakah Google sudah mengenali Anda dengan Knowledge Graph API milik Google atau pemeriksa gratis untuk melihat jenis entitas apa yang diberikan kepada Anda dan apakah atributnya sudah benar.

Misalnya, Knowledge Graph Tool dari Carl Hendy menampilkan hasil untuk orang, perusahaan, produk, tempat, dan entitas lainnya.

Dari sana, cobalah mendapatkan penyebutan dari publikasi yang berotoritas dan jaga agar fakta Anda konsisten di mana pun: nama, deskripsi, dan kategori yang sama di seluruh situs Anda, profil Anda, dan listing pihak ketiga.

Lalu tambahkan schema secara wajar, dengan memprioritaskan tipe yang mendefinisikan entitas Anda dan relasinya:

• Schema Organization dan sameAs yang menaut ke Wikipedia, Wikidata, dan profil sosial Anda

• Schema Person untuk penulis situs Anda

• Schema Product untuk penawaran Anda

Saya tutup dengan pemikiran terakhir ini: semakin banyak “pembaca” yang Anda coba pengaruhi sebenarnya adalah agen AI yang menjelajah dan membeli atas nama audiens Anda.

Bahkan, pada Juni 2026, CEO Cloudflare, Matthew Prince, mengungkapkan bahwa traffic agentic (bot/crawler/agent) untuk pertama kalinya melampaui angka 50% dalam sejarah internet.^{2, 3}

Jauh dari sekadar kasus khusus atau hal baru, pencarian untuk “agentic AI” melonjak 84 kali dalam tiga tahun, seiring biaya menjalankan agen turun dari dolar menjadi sen.

Anda belum perlu membangun ulang website semata-mata untuk agen AI. Namun, saran lama untuk membuat konten hanya untuk manusia dan tidak perlu mengkhawatirkan robot mungkin sudah tidak sepenuhnya relevan seperti dulu.

Bab ini membahas cara memengaruhi AI yang dipercaya manusia, dan pemasaran antaragen adalah hal itu—tetapi dibawa selangkah lebih jauh.