Panduan Pemula untuk SEO Teknis
Berdasarkan Patrick Stox
SEO teknis di Ahrefs
SEO Teknis adalah bagian terpenting dari SEO sampai akhirnya bukan. Halaman perlu dapat di-crawl dan dapat diindeks agar memiliki peluang untuk mendapat peringkat, tetapi banyak aktivitas lain akan berdampak minimal dibandingkan konten dan tautan.
Kami menulis panduan pemula ini untuk membantu Anda memahami beberapa dasar dan di mana waktu Anda paling baik digunakan untuk memaksimalkan dampak.
Dasar-dasar SEO teknis
Apa itu SEO Teknis?
SEO Teknis adalah praktik mengoptimalkan situs web Anda untuk membantu mesin pencari menemukan, crawl, memahami, dan mengindeks halaman Anda. Ini membantu meningkatkan visibilitas dan peringkat di mesin pencari. Ini juga penting untuk pencarian AI.
Seberapa rumit SEO teknis?
Tergantung. Dasar-dasarnya sebenarnya tidak sulit dikuasai, tetapi SEO Teknis bisa rumit dan sulit dipahami. Saya akan membuatnya sesederhana mungkin dalam panduan ini.
Apakah SEO teknis penting untuk penelusuran AI?
Ya. Pencarian AI masih bergantung pada halaman web yang dapat di-crawl, terstruktur dengan baik, dan dapat dipercaya. SEO Teknis memastikan situs Anda cepat, mudah diakses, dan dapat diindeks—semuanya meningkatkan peluang konten Anda digunakan dalam jawaban berbasis AI maupun pencarian tradisional.
Memahami crawl
Dalam bab ini, kita akan membahas cara memastikan mesin pencari dapat melakukan crawl konten Anda secara efisien.
Cara kerja crawl
Crawling adalah proses ketika mesin pencari mengambil konten dari halaman dan menggunakan tautan di dalamnya untuk menemukan lebih banyak halaman. Ada beberapa cara Anda dapat mengontrol apa yang di-crawl di situs web Anda. Berikut beberapa opsi.
Robots.txt
File robots.txt memberi tahu mesin pencari dan platform AI ke mana mereka boleh dan tidak boleh pergi di situs Anda.
Sebagian besar mesin pencari dan crawler AI menghormati pengaturan robots.txt Anda. Jika Anda secara eksplisit melarangnya, mereka akan mematuhinya dan tidak akan crawl konten Anda atau menyertakannya dalam data pelatihan. Namun jika Anda memblokir mesin pencari dan LLM agar tidak menggunakan situs web Anda sebagai bahan pelatihan, Anda juga membatasi peluang Anda untuk menjadi terlihat dalam respons mereka.
Tahukah Anda?
Google dan beberapa LLM dapat mengindeks halaman yang tidak bisa mereka crawl jika ada tautan yang mengarah ke halaman tersebut. Ini bisa membingungkan, tetapi jika Anda ingin mencegah halaman diindeks, lihat panduan dan bagan alur ini yang dapat memandu Anda melalui prosesnya.
LLMs.txt
LLMs.txt adalah standard sukarela untuk memberi tahu large language model (LLM) bagaimana mereka dapat menggunakan konten Anda, tetapi seperti yang kami jelaskan dalam panduan kami tentang LLMs.txt, ini tidak terlalu efektif dan kemungkinan tidak sebanding dengan upayanya.
Belum ada bukti bahwa LLMs.txt meningkatkan pengambilan AI, meningkatkan lalu-lintas, atau meningkatkan akurasi model.
Tingkat crawl
Pembatasan akses
Jika Anda ingin halaman dapat diakses oleh beberapa pengguna tetapi bukan mesin pencari, kemungkinan yang Anda inginkan adalah salah satu dari tiga opsi berikut:
- Semacam sistem login
- Autentikasi HTTP (di mana kata sandi diperlukan untuk akses)
- IP whitelisting (yang hanya mengizinkan alamat IP tertentu untuk mengakses halaman)
Jenis pengaturan ini paling cocok untuk hal-hal seperti jaringan internal, konten khusus anggota, atau untuk situs staging, pengujian, atau pengembangan. Ini memungkinkan sekelompok pengguna mengakses halaman, tetapi mesin pencari tidak akan dapat mengakses halaman dan tidak akan mengindeksnya.
Cara melihat aktivitas crawl
Khusus untuk Google, cara termudah untuk melihat apa yang sedang di-crawl adalah dengan laporan ”Crawl stats” di Google Search Console, yang memberi Anda informasi lebih lanjut tentang bagaimana Google melakukan crawl pada situs web Anda.
Jika Anda ingin melihat semua aktivitas crawl di situs web Anda, termasuk dari crawler AI, maka Anda perlu mengakses log server Anda dan mungkin menggunakan alat untuk menganalisis data dengan lebih baik. Ini bisa menjadi cukup lanjut. Tetapi jika hosting Anda memiliki panel kontrol seperti cPanel, Anda seharusnya memiliki akses ke log mentah dan beberapa agregator seperti AWstats dan Webalizer.
Penyesuaian crawl
Setiap situs web akan memiliki crawl budget yang berbeda, yaitu gabungan antara seberapa sering Google ingin melakukan crawl pada sebuah situs dan seberapa banyak proses crawl yang diizinkan situs Anda. Halaman yang lebih populer dan halaman yang sering berubah akan di-crawl lebih sering, sedangkan halaman yang tampaknya tidak populer atau tidak banyak ditautkan akan di-crawl lebih jarang.
Jika crawler melihat tanda-tanda stres saat melakukan crawl pada situs web Anda, biasanya mereka akan memperlambat atau bahkan menghentikan crawl hingga kondisinya membaik.
Setelah halaman di-crawl, halaman tersebut dirender dan dikirim ke indeks. Indeks adalah daftar utama halaman yang dapat ditampilkan untuk kueri pencarian. Mari kita bahas indeks.
Memahami pengindeksan
Dalam bab ini, kita akan membahas cara memastikan halaman Anda diindeks dan memeriksa bagaimana halaman tersebut diindeks.
Perintah robot
Meta tag robots adalah cuplikan HTML yang memberi tahu mesin pencari bagaimana melakukan Crawl atau mengindeks halaman tertentu. Ini ditempatkan di bagian <head> dari sebuah halaman web dan terlihat seperti ini:
<meta name="robots" content="noindex" />
Kanonikalisasi
Ketika ada konten duplikat yang membuat beberapa versi dari halaman yang sama, Google akan memilih satu untuk disimpan di indeksnya. Proses ini disebut kanonikalisasi dan URL yang dipilih sebagai kanonikal akan menjadi yang Google tampilkan di hasil penelusuran. Ada banyak sinyal berbeda yang digunakan untuk memilih URL kanonikal termasuk:
Cara termudah untuk melihat bagaimana Google telah mengindeks sebuah halaman adalah menggunakan alat Inspeksi URL di Google Search Console. Alat ini akan menampilkan URL kanonikal yang dipilih Google.
Kemenangan cepat SEO teknis
Salah satu hal tersulit bagi SEO adalah prioritisasi. Ada banyak praktik terbaik, tetapi beberapa perubahan akan lebih berdampak pada peringkat dan lalu-lintas Anda daripada yang lain. Berikut beberapa proyek yang saya rekomendasikan untuk diprioritaskan.
Periksa pengindeksan
Pastikan halaman yang ingin Anda temukan oleh orang lain dapat diindeks di Google. Dua bab sebelumnya membahas tentang crawling dan pengindeksan, dan itu bukan kebetulan.
Anda dapat memeriksa laporan Indexability di Site Audit untuk menemukan halaman yang tidak bisa diindeks dan alasannya. Gratis di Ahrefs Webmaster Tools.
Jalankan audit SEO teknis gratis
Mendaftar di sini memberi Anda akses ke Ahrefs Webmaster Tools ↗ secara gratis
Ambil kembali tautan yang hilang
Situs web cenderung mengubah URL-nya selama bertahun-tahun. Dalam banyak kasus, URL lama ini memiliki tautan dari situs web lain. Jika tidak dialihkan ke halaman saat ini, maka tautan tersebut hilang dan tidak lagi dihitung untuk halaman Anda. Belum terlambat untuk melakukan pengalihan ini, dan Anda dapat dengan cepat merebut kembali nilai yang hilang. Anggap ini sebagai Link Building tercepat yang pernah Anda lakukan.
Anda dapat menemukan peluang untuk merebut kembali tautan yang hilang menggunakan Site Explorer Ahrefs. Masukkan domain Anda, buka laporan Terbaik berdasarkan Tautan, lalu tambahkan filter respons HTTP “404 not found”. Biasanya saya mengurutkannya berdasarkan “Domain Rujukan”.
Inilah tampilannya untuk 1800flowers.com:
Melihat URL pertama di archive.org, saya melihat bahwa ini sebelumnya adalah halaman Mother’s Day. Dengan mengalihkan halaman itu ke versi saat ini, Anda akan merebut kembali 225 tautan dari 59 situs web berbeda—dan masih banyak peluang lainnya.
Saya bahkan membuat skrip untuk membantu Anda mencocokkan pengalihan. Jangan takut; Anda hanya perlu mengunduh beberapa file dan mengunggahnya. Notebook Colab akan memandu Anda dan menangani pekerjaan beratnya untuk Anda.
Anda sebaiknya melakukan 301 Pengalihan untuk semua URL lama ke lokasi terkininya guna mengambil kembali nilai yang hilang ini.
Tahukah Anda?
Pengalihan 301 adalah pengalihan permanen. Tautan apa pun yang mengarah ke URL yang dialihkan akan dihitung untuk URL baru di mata Google.[3]
Tambahkan tautan internal
Tautan internal adalah tautan dari satu halaman di situs Anda ke halaman lain di situs Anda. Tautan ini membantu halaman Anda ditemukan dan juga membantu halaman berperingkat lebih baik. Kami memiliki alat di dalam Site Audit bernama Internal Link Opportunities yang membantu Anda menemukan peluang ini dengan cepat.
Alat ini bekerja dengan mencari penyebutan kata kunci yang sudah memberi Anda peringkat di situs Anda. Lalu alat ini menyarankannya sebagai peluang tautan internal kontekstual.
Misalnya, alat tersebut menampilkan penyebutan “navigasi berfaset” dalam panduan kami tentang konten duplikat. Karena Site Audit mengetahui kami memiliki halaman tentang navigasi berfaset, maka alat tersebut menyarankan kami menambahkan tautan internal ke halaman itu.
Tambahkan markup skema
Skema markup adalah kode yang membantu mesin pencari memahami konten Anda dengan lebih baik dan mendukung banyak fitur yang dapat membantu situs web Anda menonjol dari yang lain di hasil penelusuran. Ini juga dapat membantu LLM menafsirkan konten halaman Anda dengan benar. Google memiliki galeri penelusuran yang menampilkan berbagai fitur penelusuran dan skema yang diperlukan agar situs Anda memenuhi syarat.
SEO teknis untuk pencarian AI
AI telah mengubah cara konten ditemukan dan ditampilkan kepada pencari, tetapi tetap bergantung pada fondasi halaman web yang dapat di-crawl, terstruktur dengan baik, dan dapat dipercaya. AI juga mengubah cara kita membuat dan mengoptimalkan konten.
Memperhatikan beberapa faktor teknis khusus AI dapat membantu Anda tetap terlihat di mana pun orang mencari informasi.
Buat situs Anda dapat diakses oleh LLM
Seperti mesin pencari, LLM perlu dapat melakukan crawl pada situs web Anda dan mengakses kontennya. Namun, cara kerjanya sedikit berbeda dari crawler mesin pencari.
Misalnya, sebagian besar LLM tidak merender JavaScript, bahasa pemrograman yang umum digunakan untuk membangun situs web. Jika konten utama atau navigasi hanya muncul setelah JavaScript dimuat, ada risiko beberapa Crawler AI tidak akan melihatnya. Jadi, sebaiknya hindari menggunakannya untuk konten yang sangat penting dan Anda ingin terlihat dalam pencarian AI.
Ada baiknya juga memeriksa apakah alat pihak ketiga memblokir crawler AI agar tidak dapat mengakses situs web Anda.
Misalnya, Cloudflare memperkenalkan fitur baru yang memungkinkan pemilik situs web mengontrol apakah platform AI dapat men-scrape konten untuk dataset pelatihan mereka.
Pengaturan default memblokir crawler AI untuk mengakses konten. Namun, Anda perlu mematikannya jika ingin konten Anda memaksimalkan visibilitas di hasil penelusuran AI.
Alihkan hallucinated URL
Sistem pencarian AI dapat mengutip URL di domain Anda yang sebenarnya tidak ada. Anda bisa menemukannya di Ahrefs’ Web Analytics dengan melihat halaman yang menerima lalu-lintas pencarian AI:
Jika salah satu dari halaman ini mengarah ke kesalahan 404, sistem AI mungkin telah berhalusinasi tentang URL tersebut. Untuk menghindari kehilangan lalu-lintas, Anda dapat mengalihkan URL tersebut ke halaman aktif yang relevan.
Pemantauan rutin mencegah frustrasi pengguna dan melindungi otoritas merek.
Deteksi konten AI
Meskipun tidak masalah menggunakan AI untuk membuat konten untuk situs web Anda, terlalu banyak konten AI dapat dianggap sebagai sinyal spam yang membatasi visibilitas konten Anda dalam sistem pencarian tradisional dan AI.
Anda dapat menggunakan detektor AI Ahrefs di dalam Site Explorer > Page Inspect untuk melihat bagaimana mesin dapat menafsirkan tingkat AI yang digunakan dalam konten Anda.
Anda juga dapat memeriksa ini secara massal di laporan Halaman Teratas untuk menemukan halaman yang ada yang mungkin perlu ditulis ulang:
Kode yang disuntikkan oleh alat AI
Jika Anda menggunakan AI untuk membantu membangun situs web atau menambahkan fitur baru, AI dapat menambahkan kode HTML ekstra yang mengungkapkan bahwa AI digunakan.
Dalam satu kasus, bug Yoast SEO menyisipkan class tersembunyi terkait AI ke dalam halaman, sehingga jelas bagi mesin pencari bahwa AI terlibat.
Jika Anda menggunakan alat AI untuk melakukan perubahan on-page, periksa kode sumber situs Anda untuk memastikan tidak ada hal yang tidak terduga ditambahkan. “Sidik jari” tersembunyi seperti ini dapat dihindari dengan peninjauan kode dan pengujian secara rutin sebelum memublikasikan pembaruan.
Proyek SEO teknis tambahan
Proyek-proyek yang akan kita bahas di bab ini semuanya hal yang baik untuk difokuskan, tetapi mungkin memerlukan lebih banyak kerja dan memberi manfaat yang lebih kecil dibandingkan Proyek "quick win" dari bagian sebelumnya. Itu bukan berarti Anda tidak boleh melakukannya. Ini hanya untuk membantu Anda mendapatkan gambaran tentang cara memprioritaskan berbagai Proyek.
Sinyal pengalaman halaman
Ini adalah faktor peringkat yang lebih kecil, tetapi tetap hal yang ingin Anda perhatikan demi pengguna Anda. Ini mencakup aspek situs web yang memengaruhi pengalaman pengguna (UX).
Sinyal Pencarian Google untuk Pengalaman Halaman
https://ahrefs.com/blog/core-web-vitals/
Core Web Vitals
Core Web Vitals adalah metrik kecepatan yang merupakan bagian dari sinyal Page Experience Google yang digunakan untuk mengukur pengalaman pengguna. Metrik ini mengukur muatan visual dengan Largest Contentful Paint (LCP), stabilitas visual dengan Cumulative Layout Shift (CLS), dan interaktivitas dengan First Input Delay (FID).
HTTPS
HTTPS melindungi komunikasi antara browser dan server Anda agar tidak disadap dan dimanipulasi oleh penyerang. Ini memberikan kerahasiaan, integritas, dan autentikasi untuk sebagian besar lalu-lintas WWW saat ini. Anda ingin halaman Anda dimuat melalui HTTPS dan bukan HTTP.
Situs web apa pun yang menampilkan ikon “gembok” di bilah alamat menggunakan HTTPS.
Keramahan seluler
Sederhananya, ini memeriksa apakah halaman web ditampilkan dengan baik dan mudah digunakan oleh orang-orang di perangkat seluler.
Bagaimana Anda tahu seberapa ramah seluler situs Anda? Periksa laporan ”Mobile Usability” di Google Search Console.
Laporan ini memberi tahu Anda apakah ada halaman yang memiliki masalah ramah seluler.
Interstisial
Interstisial menghalangi konten untuk dilihat. Ini adalah popup yang menutupi konten utama dan pengguna mungkin harus berinteraksi dengannya sebelum popup tersebut hilang.
Hreflang — Untuk berbagai bahasa
Hreflang adalah atribut HTML yang digunakan untuk menentukan bahasa dan penargetan geografis sebuah halaman web. Jika Anda memiliki beberapa versi dari halaman yang sama dalam bahasa yang berbeda, Anda dapat menggunakan tag hreflang untuk memberi tahu mesin pencari seperti Google tentang variasi ini. Ini membantu mereka menayangkan versi yang tepat kepada pengguna mereka.
Ahrefs kini membantu membuat penerapan hreflang lebih mudah dengan grafik tautan hreflang visual di Site Audit.
Grafik hreflang ini menampilkan semua varian bahasa dari sebuah halaman dan menyoroti masalah konfigurasi apa pun. Selain itu, grafik ini menandai kesalahan seperti kode bahasa yang tidak valid, tautan mandiri yang hilang, dan kurangnya tag resiprokal serta memberikan panduan yang jelas tentang cara memperbaikinya.
Pemeliharaan umum/kesehatan situs web
Tugas-tugas ini kemungkinan tidak akan banyak berdampak pada peringkat Anda, tetapi umumnya merupakan hal yang baik untuk diperbaiki demi pengalaman pengguna.
Tautan Rusak
Tautan rusak adalah tautan di situs Anda yang mengarah ke sumber daya yang tidak ada. Ini bisa berupa tautan internal (yaitu ke halaman lain di domain Anda) atau eksternal (yaitu ke halaman di domain lain).
Anda dapat menemukan tautan rusak di situs web Anda dengan cepat menggunakan Site Audit di laporan Links. Gratis di Ahrefs Webmaster Tools.
Rantai pengalihan
Rantai pengalihan adalah serangkaian pengalihan yang terjadi antara URL awal dan URL tujuan.
Anda dapat menemukan rantai pengalihan di situs web Anda dengan cepat menggunakan Site Audit di laporan Redirects. Ini gratis di Ahrefs Webmaster Tools.
Alat SEO Teknis
Alat-alat ini membantu Anda meningkatkan aspek teknis situs web Anda.
Google Search Console (sebelumnya Google Webmaster Tools) adalah layanan gratis dari Google yang membantu Anda memantau dan memecahkan masalah terkait tampilan situs web Anda di hasil pencariannya.
Gunakan untuk menemukan dan memperbaiki kesalahan teknis, mengirimkan sitemap, melihat masalah data terstruktur, dan lainnya.
Bing dan Yandex memiliki versinya sendiri, begitu juga Ahrefs. Ahrefs Webmaster Tools adalah alat gratis yang akan membantu Anda meningkatkan performa SEO situs web Anda. Alat ini memungkinkan Anda untuk:
- Pantau kesehatan SEO situs web Anda.
- Periksa 100+ masalah SEO.
- Lihat semua backlink Anda.
- Lihat semua kata kunci yang Anda raih peringkatnya.
- Cari tahu berapa banyak lalu-lintas yang diterima halaman Anda.
- Temukan peluang tautan internal.
Ini adalah jawaban kami atas keterbatasan Google Search Console.
Tes Ramah Seluler Google memeriksa seberapa mudah pengunjung menggunakan halaman Anda di perangkat seluler. Alat ini juga mengidentifikasi masalah kegunaan seluler tertentu seperti teks yang terlalu kecil untuk dibaca, penggunaan plugin yang tidak kompatibel, dan sebagainya.
Tes Ramah Seluler menunjukkan apa yang Google lihat ketika melakukan crawl pada halaman. Anda juga dapat menggunakan Rich Results Test untuk melihat konten yang Google lihat untuk desktop atau perangkat seluler.
Chrome DevTools adalah alat debug halaman web bawaan Chrome. Gunakan untuk men-debug masalah Kecepatan Halaman, meningkatkan performa rendering halaman web, dan banyak lagi.
Dari sudut pandang SEO teknis, ini memiliki penggunaan yang tidak ada habisnya.
Toolbar SEO Ahrefs adalah ekstensi gratis untuk Chrome dan Firefox yang menyediakan data SEO berguna tentang halaman dan situs web yang Anda kunjungi.
Fitur gratisnya adalah:
- Laporan SEO on-page
- Pelacak pengalihan dengan header HTTP
- Pemeriksa tautan rusak
- Penyorot tautan
- Posisi SERP
Selain itu, sebagai pengguna Ahrefs, Anda mendapatkan:
- Metrik SEO untuk setiap situs dan halaman yang Anda kunjungi dan untuk hasil penelusuran Google
- Metrik kata kunci, seperti volume pencarian dan kesulitan kata kunci, langsung di SERP
- Ekspor hasil SERP
PageSpeed Insights menganalisis kecepatan pemuatan halaman web Anda. Selain skor performa, alat ini juga menampilkan rekomendasi yang bisa ditindaklanjuti agar halaman memuat lebih cepat.
Poin-poin utama
- Jika konten Anda tidak diindeks, konten tersebut tidak akan ditemukan di mesin pencari.
- Ketika ada sesuatu yang rusak dan berdampak pada lalu-lintas pencarian, memperbaikinya bisa menjadi prioritas. Namun untuk sebagian besar situs, Anda mungkin lebih baik menghabiskan waktu untuk konten dan tautan Anda.
- Banyak proyek teknis yang berdampak paling besar berfokus pada pengindeksan atau tautan.
- SEO Teknis tetap penting untuk penelusuran AI. Halaman yang terstruktur dengan baik dan dapat di-crawl membantu sistem AI menemukan, memahami, dan menampilkan konten Anda.
Referensi
- "Apakah aturan crawl-delay diabaikan oleh Googlebot?". Google Search Central. 21 Desember 2017
- "Ubah tingkat crawl Googlebot". Google. Diakses 9 September 2022
- "Pengalihan 30x tidak kehilangan PageRank lagi". Gary Illyes. 26 Juli 2016
Patrick Stox adalah Penasihat Produk, SEO Teknis, & Duta Merek di Ahrefs. Ia adalah penulis utama untuk bab SEO di Web Almanac 2021 dan peninjau untuk bab SEO 2022. Ia juga ikut menulis SEO Book For Beginners oleh Ahrefs dan menjadi Editor Tinjauan Teknis untuk The Art of SEO Edisi ke-4. Ia adalah penyelenggara Triangle SEO Meetup, konferensi Tech SEO Connect, menjalankan grup Slack SEO Teknis, dan menjadi moderator untuk /r/TechSEO di Reddit.
Kuasai SEO Langkah demi Langkah
Cara Kerja Mesin Pencari
Sebelum Anda mulai belajar SEO, Anda perlu memahami cara kerja mesin pencari.
Dasar-Dasar SEO
Pelajari cara menyiapkan situs web Anda untuk kesuksesan SEO dan pahami keempat aspek utama SEO.
Riset Kata Kunci
Titik awal dalam SEO adalah memahami apa yang dicari oleh pelanggan target Anda.
Konten SEO
Pelajari cara membuat konten yang mendapat peringkat di mesin pencari.
SEO On-Page
Ini adalah tempat Anda mengoptimalkan halaman Anda untuk membantu mesin pencari memahaminya.
Bangunan Tautan
Tautan menjadi penentu bagi mesin pencari untuk menemukan halaman baru dan menilai "otoritas". Tanpa tautan, sulit mendapatkan peringkat untuk istilah yang kompetitif.
SEO Teknis
Sangat penting untuk memastikan tidak ada kesalahan teknis yang menghalangi Google untuk mengakses dan memahami situs web Anda.
Peran AI dalam SEO
Mustahil membahas SEO saat ini tanpa menyinggung AI generatif.