Come ottimizzare il tuo sito web per i motori di risposta

Nessuno dei consigli in questa guida conta se i crawler dell’IA non riescono a leggere le tue pagine. Le pagine bloccate non possono essere citate e spesso succede per errore.

Abbiamo analizzato circa 140 milioni di siti web e abbiamo scoperto che GPTBot è ora il bot di IA più bloccato (5,89% dei siti), con ClaudeBot subito dietro.

Cloudflare blocca per impostazione predefinita le piattaforme di IA, quindi verifica che la tua CDN non ti abbia escluso silenziosamente.

«Consentire i crawler IA» non è una sola decisione, perché ogni piattaforma gestisce diversi bot che svolgono compiti differenti.

Solo OpenAI ne gestisce tre:

• GPTBot raccoglie contenuti per l’addestramento
• OAI-SearchBot crea l’indice di ricerca da cui ChatGPT recupera le informazioni
• ChatGPT-User recupera una pagina in tempo reale quando qualcuno ne parla nel mezzo di una conversazione

I compromessi sono diversi per ciascuno. Bloccare GPTBot tiene i tuoi contenuti fuori dai dati di addestramento del prossimo modello: è la decisione che di solito gli editori stanno valutando. Bloccare OAI-SearchBot ti rimuove dall’indice in cui cerca ChatGPT: ed è questo che oggi ti costa citazioni e traffico di referral. Molti siti bloccano per errore il secondo, pur intendendo bloccare solo il primo.

Il modo più rapido per vedere a che punto sei è usare uno strumento come AI Crawler Access Checker, che legge il tuo robots.txt e ti dice quali crawler sono autorizzati a passare.

Per vedere quali bot stanno arrivando davvero, e non solo quali sono consentiti, consulta Bot Analytics di Ahrefs. Traccia le visite in 12 categorie di bot, incluso un filtro IA dedicato, usando dati lato server tramite Cloudflare, quindi funziona senza aggiungere JavaScript al tuo sito.

I crawler dell’IA tendono a leggere l’HTML grezzo e per lo più non eseguono il rendering di JavaScript come fa un browser.

Ciò significa che qualsiasi cosa compaia solo dopo l’esecuzione di JS lato client può risultare invisibile per loro.

Vai sul sicuro e attieniti al rendering lato server per dare alla tua pagina le migliori possibilità di visibilità per l’IA.

Le pagine che si caricano lentamente possono influire negativamente sulle prestazioni nella ricerca tradizionale, ma, se non altro, sembra che la penalizzazione sia ancora più grande nei motori di risposta. La velocità della pagina sembra aiutare a determinare se finisci o meno nella finestra di contesto del modello.¹

Controlla la velocità della tua pagina (nota come time-to-first-byte) in Site Audit:

llms.txt è uno standard proposto per un file Markdown nella root del tuo dominio (ad es. website.com/llms.txt) che indica agli LLM dove si trova il tuo contenuto migliore: documentazione, policy, tassonomie di prodotto. In linea di principio, è come robots.txt per i modelli linguistici.

Ma in pratica nessuno dei principali provider di LLM si è impegnato a leggerlo. Né OpenAI, né Anthropic, né Google.

Abbiamo verificato cosa succede davvero quando un sito web aggiunge llms.txt. Su 137.000 domini che usano Ahrefs Web Analytics, il 28% pubblica un file llms.txt. Dei circa 38.000 con un file valido, il 97% ha ricevuto zero richieste per quel file nel mese che abbiamo misurato.

Della piccola quota di file che è stata effettivamente recuperata, il 96% delle richieste proveniva da bot. Slackbot, il bot di anteprima dei link, ha recuperato llms.txt più spesso di quanto abbia fatto PerplexityBot. In poche parole, i motori di ricerca IA più importanti non sembrano usarlo.

Google è stato esplicito su questo punto. La sua guida su come ottimizzare per le funzionalità di IA generativa ha una sezione intitolata letteralmente «mythbusting» che dice ai proprietari dei siti che non servono file leggibili dalle macchine come llms.txt per comparire nella ricerca con IA generativa. John Mueller si è spinto oltre, paragonandolo al vecchio meta tag keywords:

Quindi, dovresti crearne uno? Se pubblichi documentazione per sviluppatori, richiede circa dieci minuti e c’è un caso d’uso plausibile. Mueller lo ha descritto come un «supporto temporaneo, forse per risparmiare alcuni token» per gli strumenti di coding basati su IA che analizzano la documentazione. Per tutti gli altri, è uno sforzo senza un ritorno misurato, con in più un piccolo svantaggio: rendere più facile per i competitor fare scraping in blocco dei tuoi contenuti.

Gli assistenti di IA inventano link verso il tuo sito web, e lo fanno spesso. Abbiamo verificato lo stato HTTP di 16 milioni di URL citati da ChatGPT, Perplexity, Copilot, Gemini, Claude e Mistral e abbiamo scoperto che gli assistenti di IA inviano i visitatori a pagine 404 con una frequenza 2,87 volte maggiore rispetto a Google Search.

ChatGPT è di gran lunga il peggiore. L’1,01% degli URL cliccati restituisce un 404, contro lo 0,15% di base su Google.

Perplexity (0,87%) e Gemini (0,86%) sono quasi perfettamente allineati al tasso di Google, pari allo 0,84%, per gli URL citati. È logico, visto che entrambi recuperano dall’indice di Google, quindi ereditano i suoi link non funzionanti invece di inventarsene di propri.

Gli URL inventati vengono dedotti dai tuoi schemi esistenti. Un URL allucinato comune per il nostro sito era ahrefs.com/keywords, perché scriviamo continuamente di parole chiave e il modello ha dato per scontato che una pagina del genere dovesse esistere. Non esiste.

Questa è una delle poche vere opportunità gratuite nell’AEO. Una persona con un’intenzione reale ha chiesto del tuo prodotto, è arrivata sul tuo sito e si è trovata in un vicolo cieco. Ne incontrerai tre tipologie diverse:

• URL allucinati. Pagine che un modello ha inventato a partire dalla struttura dei tuoi URL.
• URL obsoleti. Pagine esistite in passato, ricordate dai dati di addestramento o da altre fonti di dati non aggiornate.
• URL con errori di digitazione o varianti. Quasi corrispondenze su pagine reali.

Per questo motivo, abbiamo aggiunto un filtro a Web Analytics che ti aiuterà a trovare URL allucinati in soli due clic. Se cerchi un’alternativa semplice a Google Analytics, gratuita fino a 1 milione di eventi al mese, dagli un’occhiata:

Se un URL allucinato continua a essere richiesto, il modello ti sta dicendo quale pagina i tuoi visitatori si aspettano che tu abbia.

Ogni tattica di questa guida, in ultima analisi, dipende da una cosa: se i sistemi di IA riconoscono il tuo brand come un’entità distinta.

Knowledge Graph di Google — un database di 54 miliardi di entità e oltre 1.600 miliardi di fatti su come sono correlate — non è più solo il motore alla base dei Knowledge Panel.

Ora è l’infrastruttura centrale per AI Overview, Modalità IA e Gemini.

Se il tuo brand non è chiaramente definito come un’entità, con segnali coerenti su tutto il tuo sito, nei dati strutturati e in fonti autorevoli di terze parti, rischi di essere invisibile nelle risposte IA—non solo nei link blu.

Lo schema viene spesso presentato come un modo rapido per migliorare la visibilità nell’IA e la correlazione superficiale sembra convincente: le pagine citate dall’IA hanno quasi tre volte più probabilità di avere JSON-LD.

Ma la correlazione non è causalità. Abbiamo monitorato 1.885 pagine che hanno aggiunto JSON-LD rispetto a 4.000 controlli e non abbiamo riscontrato alcun incremento significativo in Modalità IA o ChatGPT, e un piccolo calo in AI Overview che non siamo riusciti ad attribuire allo Schema.

Quindi lo schema è inutile? No, ma il suo ruolo è lento e indiretto: non è una tattica per ottenere risultati rapidi.

Puoi verificare se Google ti riconosce già usando la Knowledge Graph API di Google o uno strumento di verifica gratuito per vedere che tipo di entità ti ha assegnato e se gli attributi sono corretti.

Per esempio, Knowledge Graph Tool di Carl Hendy ti mostra risultati per persone, aziende, prodotti, luoghi e altre entità.

Da lì, cerca di ottenere menzioni da pubblicazioni autorevoli e mantieni coerenti le tue informazioni ovunque: lo stesso nome, descrizione e categoria su tutto il sito, i profili e gli elenchi di terze parti.

Poi aggiungi lo schema dove è naturale, dando priorità ai tipi che definiscono la tua entità e le sue relazioni:

• Schema Organization e proprietà sameAs con collegamenti a Wikipedia, Wikidata e ai tuoi profili social

• Schema Person per gli autori del tuo sito

• Schema Product per le tue offerte

Ti lascio con quest’ultima riflessione: un numero crescente di «lettori» che stai cercando di influenzare sono in realtà agenti di IA che navigano e acquistano per conto del tuo pubblico.

Infatti, a giugno 2026 il CEO di Cloudflare, Matthew Prince, ha rivelato che il traffico agentico (bot/crawler/agente) aveva superato per la prima volta la soglia del 50% nella storia di Internet.^{2, 3}

Ben lungi dall’essere un caso limite o una novità, le ricerche di «IA agentica» sono aumentate di 84 volte in tre anni, mentre il costo per far funzionare un agente è sceso da dollari a centesimi.

Per ora non è necessario ricostruire il tuo sito web solo per gli agenti di IA. Ma il vecchio consiglio di creare contenuti solo per gli esseri umani e non preoccuparsi dei robot probabilmente non regge più come una volta.

Questo capitolo parla di influenzare l’IA di cui l’essere umano si fida, e il marketing agent-to-agent è proprio questo, ma con un passo in più.