Come ottimizzare il tuo sito web per i motori di risposta

Nessuno dei consigli in questa guida conta se i crawler dell'IA non riescono a leggere le tue pagine. Le pagine bloccate non possono essere citate e spesso ciò succede per errore.

Abbiamo analizzato circa 140 milioni di siti web e abbiamo scoperto che GPTBot è ora il bot di IA più bloccato (5,89% dei siti), con ClaudeBot subito dietro.

Cloudflare blocca per impostazione predefinita le piattaforme di IA, quindi verifica che la tua CDN non ti abbia escluso a tua insaputa.

Consentire i crawler di IA non è una decisione una tantum, perché ogni piattaforma gestisce diversi bot che svolgono compiti differenti.

Solo OpenAI ne gestisce tre:

• GPTBot raccoglie contenuti per l'addestramento
• OAI-SearchBot crea l'indice di ricerca da cui ChatGPT recupera le informazioni
• ChatGPT-User recupera una pagina in tempo reale quando qualcuno ne parla nel mezzo di una conversazione

I compromessi sono diversi per ciascuno. Poiché bloccare GPTBot esclude i contenuti dai dati di addestramento del prossimo modello, è una decisione che di solito gli editori valutano. Bloccare OAI-SearchBot rimuove il sito dall'indice in cui cerca ChatGPT ed è questo che costa citazioni e traffico di referral. Molti siti bloccano per errore il secondo, anche se intendono bloccare solo il primo.

Il modo più rapido per controllare la situazione è usare uno strumento come AI Crawler Access Checker, che legge il file robots.txt e indica quali crawler sono autorizzati a passare.

Per vedere quali bot stanno arrivando davvero, e non solo quali sono consentiti, consulta Bot Analytics di Ahrefs. Traccia le visite in 12 categorie di bot, incluso un filtro di IA dedicato, usando dati lato server tramite Cloudflare, quindi funziona senza aggiungere JavaScript al sito.

I crawler dell'IA tendono a leggere l'HTML grezzo e per lo più non eseguono il rendering di JavaScript come fa un browser.

Ciò significa che qualsiasi cosa compaia solo dopo l'esecuzione di JS lato client può risultare invisibile per loro.

Vai sul sicuro e attieniti al rendering lato server per dare alla tua pagina le migliori possibilità di visibilità per l'IA.

Le pagine che si caricano lentamente possono influire negativamente sulle prestazioni nella ricerca tradizionale, ma, se non altro, sembra che la penalizzazione sia ancora più grande nei motori di risposta. La velocità della pagina sembra aiutare a determinare se finisci o meno nella finestra di contesto del modello.¹

Controlla la velocità della tua pagina (nota come Time-to-First-Byte) in Site Audit:

llms.txt è uno standard proposto per un file Markdown nella root del dominio (ad es. website.com/llms.txt) che indica agli LLM dove si trova il contenuto migliore: documentazione, policy, tassonomie di prodotto. In linea di principio, è come robots.txt per i modelli linguistici.

Ma in pratica nessuno dei principali provider di LLM si è impegnato a leggerlo – né OpenAI, né Anthropic, né Google.

Abbiamo verificato cosa succede davvero quando un sito web aggiunge llms.txt. Su 137.000 domini che usano Web Analytics di Ahrefs, il 28% pubblica un file llms.txt. Dei circa 38.000 con un file valido, il 97% ha ricevuto zero richieste per quel file nel mese che abbiamo monitorato.

Della piccola quota di file che è stata effettivamente recuperata, il 96% delle richieste proveniva da bot. Slackbot, il bot di anteprima dei link, ha recuperato llms.txt più spesso di quanto abbia fatto PerplexityBot. In poche parole, i motori di ricerca con IA più importanti non sembrano usarlo.

Google è stato esplicito su questo punto. La sua guida su come ottimizzare per le funzionalità di IA generativa ha una sezione intitolata letteralmente "mythbusting" (sfatamento dei miti) che dice ai proprietari dei siti che non servono file leggibili dalle macchine come llms.txt per comparire nella ricerca con IA generativa. John Mueller si è spinto oltre, paragonando llms.txt al vecchio meta tag keywords:

Quindi, dovresti crearne uno? Se pubblichi documentazione per sviluppatori, richiede circa dieci minuti e c'è un caso d'uso plausibile. Mueller lo ha descritto come un "supporto temporaneo, forse per risparmiare alcuni token" per gli strumenti di coding basati su IA che analizzano la documentazione. Per tutti gli altri, è uno sforzo senza un ritorno misurato, con in più un piccolo svantaggio: rendere più facile per i competitor fare scraping in blocco dei tuoi contenuti.

Gli assistenti di IA inventano link, e lo fanno spesso. Abbiamo verificato lo stato HTTP di 16 milioni di URL citati da ChatGPT, Perplexity, Copilot, Gemini, Claude e Mistral e abbiamo scoperto che gli assistenti di IA inviano i visitatori a pagine 404 con una frequenza 2,87 volte maggiore rispetto a Google Search.

ChatGPT è di gran lunga il peggiore. L'1,01% degli URL cliccati restituisce un 404, contro lo 0,15% di base su Google.

Perplexity (0,87%) e Gemini (0,86%) sono quasi perfettamente allineati al tasso di Google, pari allo 0,84%, per gli URL citati. È logico, visto che entrambi recuperano dall'indice di Google, quindi ereditano i suoi link non funzionanti invece di inventarsene di propri.

Gli URL inventati vengono dedotti dai pattern esistenti. Un URL allucinato comune per il nostro sito era ahrefs.com/keywords, perché scriviamo continuamente di parole chiave e il modello ha dato per scontato che una pagina del genere dovesse esistere. Non esiste.

Questa è una delle poche vere opportunità gratuite nell'AEO. Una persona con un'intenzione reale ha chiesto del tuo prodotto, è arrivata sul tuo sito e si è trovata in un vicolo cieco. Ce ne sono di tre tipi:

• URL allucinati. Pagine che un modello inventa a partire dalla struttura dei tuoi URL.
• URL obsoleti. Pagine esistite in passato, ricordate dai dati di addestramento o da altre fonti di dati non aggiornate.
• URL con errori di digitazione o varianti. Quasi corrispondenze su pagine reali.

Per questo motivo, abbiamo aggiunto un filtro a Web Analytics che aiuta a trovare URL allucinati in soli due clic. Se cerchi un'alternativa semplice a Google Analytics, gratuita fino a 1 milione di eventi al mese, dagli un'occhiata:

Se un URL allucinato continua a essere richiesto, il modello suggerisce quale pagina i tuoi visitatori si aspettano che tu abbia.

Ogni tattica di questa guida, in ultima analisi, dipende da una cosa: se i sistemi di IA riconoscono il tuo brand come un'entità distinta.

Knowledge Graph di Google — un database di 54 miliardi di entità e oltre 1.600 miliardi di fatti su come sono correlate — non è più solo il motore alla base dei Knowledge Panel.

Ora è l'infrastruttura di base per AI Overview, AI Mode e Gemini.

Se il tuo brand non è chiaramente definito come un'entità, con segnali coerenti su tutto il tuo sito, nei dati strutturati e in fonti autorevoli di terze parti, rischi di essere invisibile nelle risposte dell'IA, non solo nei link blu.

Lo schema viene spesso presentato come un modo rapido per migliorare la visibilità nell'IA e la correlazione superficiale sembra convincente: le pagine citate dall'IA hanno quasi tre volte più probabilità di avere JSON-LD.

Ma la correlazione non è causalità. Abbiamo monitorato 1.885 pagine che hanno aggiunto JSON-LD rispetto a 4.000 controlli e non abbiamo riscontrato alcun incremento significativo in AI Mode o ChatGPT, e un piccolo calo in AI Overview che non siamo riusciti ad attribuire allo schema.

Quindi lo schema è inutile? No, ma il suo ruolo è lento e indiretto: non è una tattica per ottenere risultati rapidi.

Puoi verificare se Google ti riconosce già usando la sua Knowledge Graph API o uno strumento di verifica gratuito per vedere che tipo di entità ti ha assegnato e se gli attributi sono corretti.

Ad esempio, Knowledge Graph Tool di Carl Hendy ti mostra risultati per persone, aziende, prodotti, luoghi e altre entità.

Da lì, cerca di ottenere menzioni da pubblicazioni autorevoli e mantieni coerenti le tue informazioni ovunque: lo stesso nome, descrizione e categoria su tutto il sito, i profili e gli elenchi di terze parti.

Poi aggiungi lo schema dove è naturale, dando priorità ai tipi che definiscono la tua entità e le sue relazioni:

• Schema Organization e proprietà sameAs con collegamenti a Wikipedia, Wikidata e ai tuoi profili social

• Schema Person per gli autori del tuo sito

• Schema Product per le tue offerte

Ti lascio con quest'ultima riflessione: un numero crescente di "lettori" che stai cercando di influenzare sono in realtà agenti di IA che navigano e acquistano per conto del tuo pubblico.

Infatti, a giugno 2026 il CEO di Cloudflare, Matthew Prince, ha rivelato che il traffico agentico (bot/crawler/agente) aveva superato per la prima volta la soglia del 50% nella storia di Internet.^{2, 3}

Ben lungi dall'essere un caso limite o una novità, le ricerche di "IA agentica" sono aumentate di 84 volte in tre anni, mentre il costo per far funzionare un agente è sceso da dollari a centesimi.

Per ora non devi precipitarti a ricostruire il tuo sito web solo per gli agenti di IA. Ma il vecchio consiglio di creare contenuti solo per gli esseri umani e non preoccuparsi dei robot probabilmente non regge più come una volta.

Questo capitolo parla di come influenzare l'IA di cui l'essere umano si fida; il marketing agent-to-agent è proprio questo, ma fa un passo in più.