Cara Kerja Mesin Pencari AI

Mesin pencari AI adalah sistem tanya-jawab yang menggunakan model bahasa besar (LLM) untuk menemukan informasi dan menghasilkan respons.

Ada beberapa perbedaan utama antara mesin pencari tradisional dan mesin pencari AI (meskipun perbedaan ini semakin mengecil seiring mesin pencari tradisional mengadopsi lebih banyak fitur AI):

• Alih-alih memasukkan kueri sekali jalan, pengguna dapat mengajukan pertanyaan lanjutan dan melanjutkan percakapan.
• Alih-alih menampilkan daftar tautan berperingkat, mesin pencari AI memberikan jawaban dan rekomendasi langsung (dan jawaban ini bisa berubah secara berkala).
• Alih-alih mengarahkan pencari untuk mengunjungi situs web Anda, pengguna mendapatkan jawaban atas kueri mereka langsung di antarmuka chat (sehingga menghasilkan lebih sedikit klik kembali ke situs web Anda).

Berikut seperti apa tampilan antarmuka pencarian AI yang tipikal, mirip dengan yang Anda lihat di ChatGPT, Claude, atau AI Mode:

LLM dilatih menggunakan konten dalam jumlah sangat besar. Secara efektif, LLM telah “membaca” seluruh Wikipedia, seluruh Common Crawl Dataset, seluruh Google Books, dan jutaan demi jutaan halaman konten web.

Data pelatihan ini membantu memberikan LLM “pemahaman” tentang dunia. Jika perusahaan headphone Anda muncul berkali-kali dalam data pelatihannya, dalam konteks yang relevan dan berdampingan dengan deskripsi positif (“nilai terbaik”, “cocok untuk gym”, dan seterusnya), besar kemungkinan perusahaan Anda akan disebutkan dalam respons LLM terhadap prompt yang berkaitan dengan headphone.

LLM dapat memverifikasi dan meningkatkan jawaban mereka dengan dua cara: menggunakan alat (seperti kalkulator atau API data lainnya), atau mengambil informasi tambahan dari sumber eksternal. Proses kedua ini secara teknis dikenal sebagai Retrieval-Augmented Generation (RAG).

Saat pengguna memasukkan pertanyaan, LLM bertanya pada dirinya sendiri: "Apakah aku sudah tahu jawabannya, atau perlu mengambil informasi tambahan?" Jika LLM dapat memprediksi token berikutnya dengan tingkat kepastian yang tinggi (misalnya, pertanyaan yang tidak banyak berubah, seperti "apa fungsi sel darah merah?"), besar kemungkinan ia akan menjawab berdasarkan pengetahuan dasarnya. Dengan tingkat kepastian yang rendah (untuk pertanyaan yang lebih mudah berubah, seperti "apa penggiling kopi budget terbaik?"), ia dapat menggunakan alat pencariannya untuk menemukan informasi relevan dari sumber lain di internet.

LLM di-fine-tune untuk mengenali jenis kueri yang mungkin mendapat manfaat dari informasi tambahan, seperti:

• Topik di luar cakupan pelatihan model: “Apa faktor peringkat internal yang digunakan oleh Ahrefs’ Keywords Explorer?”
• Topik yang membutuhkan informasi baru atau sensitif terhadap waktu: “Apa Pembaruan Inti terbaru Google dan kapan diluncurkan?”
• <b>Topik yang secara eksplisit meminta pencarian web:</b> <em>
• Prompt yang meminta sumber dan bukti: “Berikan sumber yang mengonfirmasi bahwa Google menggunakan sinyal keterlibatan pengguna dalam algoritmanya.”

Beberapa model LLM juga sangat mungkin memicu penelusuran tambahan (misalnya, model "deep research" secara khusus dikonfigurasi untuk memicu beberapa penelusuran RAG).

Yang penting, fan-out kueri menjelaskan mengapa SEO tradisional sangat krusial untuk visibilitas AI.

Asisten AI seperti ChatGPT, Gemini, dan Perplexity menggunakan indeks pencarian seperti Google, Bing, dan Brave untuk mengambil informasi terbaru.

Penyedia mesin pencari itu penting karena masing-masing memiliki algoritme peringkat, indeks, dan cakupan yang berbeda: membuat merek Anda terlihat di Google Penelusuran mungkin lebih membantu visibilitas Anda di Mode AI dibandingkan di ChatGPT, yang lebih banyak bergantung pada Bing.

Begitu sebuah LLM mengambil halaman yang relevan dari indeks penelusuran, LLM tidak membacanya secara penuh. Sebaliknya, halaman dipecah menjadi "chunk" teks kecil, lalu model memprioritaskan (dan terkadang memperluas) bagian teks yang tampak paling relevan dengan kueri.

Potongan-potongan ini biasanya berisi beberapa ratus hingga beberapa ribu kata masing-masing, hanya sebagian kecil dari kebanyakan halaman web. LLM juga beroperasi dengan batas context window yang ketat: ia hanya dapat memproses sejumlah teks terbatas, termasuk prompt pengguna, semua potongan yang diambil, dan responsnya sendiri. Artinya, ia harus sangat selektif terhadap konten apa yang diambil dan disertakan.

Berikut contohnya:

Inilah inti cara kerja mesin pencari AI, tetapi ada satu tingkat kompleksitas tambahan: personalisasi.

ChatGPT dan mesin pencari AI lainnya dapat mempersonalisasi hasilnya untuk masing-masing pengguna, artinya prompt yang sama bisa menghasilkan hasil yang berbeda untuk orang yang berbeda. Personalisasi dapat dipengaruhi dengan beberapa cara, termasuk:

• Konteks percakapan saat ini: Pesan-pesan sebelumnya dalam chat yang sama akan memengaruhi respons terhadap prompt saat ini. Sebutkan bahwa Anda mengutamakan “daya tahan” pada perlengkapan hiking Anda, dan Anda bisa mengharapkan ChatGPT untuk memasukkan kriteria ini dalam pencariannya ketika Anda meminta “rekomendasi ransel” di chat yang sama nanti.
• Memori: Banyak LLM memiliki fitur memori yang memungkinkan sistem menyimpan fakta atau preferensi tertentu lintas chat. Misalnya, dengan memori diaktifkan, ChatGPT akan menyimpulkan dan mengingat detail yang Anda bagikan (seperti nama atau minat Anda) dan menyertakannya dalam percakapan berikutnya untuk mempersonalisasi responsnya.
• Lokasi, waktu, tanggal: Banyak mesin pencari AI dapat menyimpulkan informasi tentang Anda dan menyesuaikan responsnya berdasarkan itu, mulai dari menggunakan alamat IP Anda untuk memperkirakan lokasi (untuk kueri seperti “brunch dekat saya”), hingga tanggal dan waktu (“daftar perlengkapan camping” mungkin menyarankan tenda 4 musim di Musim Dingin dan tenda 3 musim di Musim Panas).
• Prompt sistem: Preferensi spesifik apa pun yang dibagikan dalam pesan sistem akan memengaruhi percakapan Anda (menambahkan "ingat saya vegan" ke prompt sistem akan memengaruhi respons terhadap prompt seperti "ide sarapan sehat").