Come Rimuovere gli URL da Google Search (5 Metodi)

Questo è un punto importante da comprendere. Usare il metodo sbagliato non solo comporta che le pagine non vengano rimosse dall’indice come voluto, ma può avere un effetto deleterio sulla SEO.

Per aiutarti a capire velocemente quale metodo di rimozione è il migliore per te, abbiamo realizzato uno schema così puoi andare alla parte dell’articolo che ti interessa.

Cosa imparerai da quest’articolo:

Cosa vedo fare frequentemente ai tecnici SEO per verificare se un contenuto è indicizzato è l’uso di un sito: ricerca in Google (e.s.: site:https://ahrefs.com). Mentre le ricerche site: possono essere utili per identificare le pagine o le sezioni di un sito web che possono essere problematiche se sono visualizzate nei risultati di ricerca, bisogna stare attenti perché non sono query normali e non ti possono assicurare se una pagina è indicizzata. Potrebbero far vedere pagine che sono conosciute a Google, ma non significa che sono scelte per essere mostrate nelle normali ricerche senza l’operatore site:.

Per esempio, le ricerche site: possono far vedere pagine con redirect o canonicalizzate in altre pagine. Quando chiedi per un sito specifico, Google potrebbe mostrare una pagina da un dominio con il contenuto, titolo, e descrizione da un altro dominio. Prendi ad esempio moz.com che era seomoz.org. Ogni query degli utenti che porta alle pagine di moz.com mostrerà moz.com nelle SERP, mentre site:seomoz.org ti mostrerà seomoz.org nei risultati di ricerca come mostrato sotto.

Il motivo per cui questa è una distinzione importante è che può portare i tecnici SEO a fare errori come il blocco attivo o la rimozione di URL dall’indice del vecchio dominio, che impedisce il consolidarsi dei segnali simili al PageRank. Ho visto molti casi di migrazione di domini dove le persone pensavano di aver commesso un errore durante la migrazione perché quelle pagine mostravano ancora le ricerche site:vecchio-dominio.com e finivano con il danneggiare il proprio sito mentre provavano a “sistemare” il problema.

Il miglior metodo per controllare l’indicizzazione è utilizzare il report Index Coverage in Google Search Console, o lo Strumento Controllo URL per un URL individuale. Questi strumenti ti dicono se una pagina è indicizzata e ti forniscono ulteriori informazioni su come Google stia trattando la pagina. Se non hai accesso a questi strumenti, cerca semplicemente la completa URL della tua pagina web su Google.

Su Ahrefs, se trovi la pagina nel nostro report “Top Pages” o classificato per parole chiave organiche, significa di solito che lo vediamo scalare la classifica per query di ricerca normali ed è un buon indicatore che la pagina è indicizzata. Nota che le pagine sono indicizzate quando le vediamo, ma ciò potrebbe essere cambiato. Controlla l’ultima data in cui abbiamo visto la pagina in una query.

Se c’è un problema con un URL particolare e necessita di essere rimosso dall’indice, segui il diagramma di flusso all’inizio dell’articolo per trovare le opzioni di rimozione corrette, poi vai alla giusta sezione qui sotto.

Se elimini la pagina e fornisci un codice di stato 404 (non trovata) o un 410 (andata), allora la pagina sarà rimossa dall’indicizzazione subito dopo che la pagina sarà ri-scannerizzata. Finchè non sarà rimossa, la pagina potrebbe essere visibile nei risultati di ricerca. Ed anche se la pagina stessa non è più disponibile, una versione cache potrebbe essere disponibile temporaneamente.

Quando potresti aver bisogno di una scelta diversa:

Un meta robots tag noindex o una risposta x-robots nel header diranno ai motori di ricerca di rimuovere una pagina dall’indice. I tag meta robots funzionano per le pagine mentre gli le risposte x-robots funzionano per le pagine e altri tipi di file come i PDF. Perché questi tag siano visti, un motore di ricerca dev’essere in grado di scansionare le pagine—quindi assicurati che non siano bloccate nel robots.txt. Inoltre, ricordati che rimuovere pagine dall’indice potrebbe limitare il consolidamento dei link ed altri segnali.

Esempio di un meta robots noindex:

Esempio di un tag nel header di risposta:

Quando potresti aver bisogno di altre opzioni:

Se vuoi che la pagina sia accessibile ad alcuni utenti ma non ai motori di ricerca, allora ciò che probabilmente dovrai fare sarà una di queste 3 opzioni:

Questo tipo di setup è il migliore per le situazioni come i network interni, contenuti per i soli membri, o per lo staging, test, o siti di sviluppo. Permette ad un gruppo di utenti l’accesso alla pagina, ma i motori di ricerca non saranno in grado di accedervi e non indicizzeranno la pagine.

Quando potresti aver bisogno di una scelta diversa:

Il nome di questo strumento di Google è un po’ fuorviante perché il modo in cui lavora è nascondere temporaneamente il contenuto. Google comunque vedrà e indicizzerà il contenuto, ma le pagine non saranno viste dagli utenti. Questo effetto temporaneo per Google dura 6 mesi, mentre Bing ha uno strumento simile che dura 3 mesi. Questi strumenti dovrebbero essere usati nei casi più estremi per scenari come problemi di sicurezza, leak di dati, informazioni personali sensibili, ecc. Per Google, usa lo Strumento di Rimozione e per Bing, vedi come bloccare gli URL.

Dovrai comunque utilizzare un altro metodo assieme agli strumenti di rimozione per poter davvero ottenere la rimozione delle pagine per un periodo più lungo (noindex o eliminazione) o prevenire agli utenti l’accesso ai contenuti se hanno ancora i link (accesso ristretto o rifiutato). E’ solamente un metodo più rapido per nascondere le pagine mentre la rimozione ha un tempo per attuarsi. La richiesta può avere un giorno d’attesa.

Quando hai versioni multiple di una pagina e vuoi consolidare i segnali come i link su una singola versione, quello che devi fare è qualche forma di canonicalizzazione. Questo è fatto principalmente per prevenire contenuti duplicati e consolidare versioni multiple di una pagina in un singolo URL indicizzabile.

Hai molte opzioni di canonicalizzazione:

Se hai molte pagine da rimuovere dall’indice di Google, allora devi avere di conseguenza delle priorità.

Alta priorità: Queste pagine sono di solito legate alla sicurezza o legate a dati confidenziali. Queste includono contenuti che contengono dati personali (PII), dati di clienti, o informazioni private.

Media priorità: Queste di solito riguardano contenuti pensati per uno specifico gruppo di utenti. Intranet aziendali o portali di dipendenti, contenuto pensato solo per i membri, ed ambienti di sviluppo, test, staging.

Bassa priorità: Queste pagine solitamente includono contenuti duplicati di qualche tipo. Alcuni esempi possono includere pagine di URL multipli, URL con parametri, e di nuovo posso includere ambienti di test, staging o sviluppo.

Voglio mostrarvi alcuni metodi che di solito vedo nelle rimozioni fatte in modo sbagliato e cosa succede in ogni scenario per aiutare le persone a capire perché non funzionano.

Mentre Google supportava non ufficialmente il noindex nel robots.txt, non è mai stato uno standard ufficiale ed ora hanno formalmente interrotto il supporto. Molti dei siti che lo stavano usando lo facevano nel modo sbagliato e si auto danneggiavano.

Scansionare non è la stessa cosa di indicizzare. Anche se a Google viene bloccata la scansione delle pagine, se ci sono link interni o esterni ad una pagina è possibile che le indicizzi. Google non saprà cosa c’è nella pagina perché non la scansionerà, ma saprà che una pagina esiste e ci scriverà anche un titolo da mostrare nei risultati di ricerca basato su segnali come l’anchor text dei link alla pagina.

Questo viene spesso confuso con il noindex, ed alcune persone lo usano a livello di pagina aspettandosi che la pagina non venga indicizzata. Nofollow è un suggerimento, e mentre originariamente fermava i link della pagina e link individuali con l’attributo nofollow dall’essere scansionati, ora non è più così. Google può scansionare questi link se lo vuole. Nofollow era usato anche nei link individuali per cercare di fermare Google dallo scansionare attraverso specifiche pagine per rafforzare PageRank. Di nuovo, non funziona più perché nofollow è un suggerimento. Nel passato, se una pagina aveva un altro link ad essa, allora Google la trovava comunque da questo percorso di link alternativo.

Nota che puoi trovare pagine con nofollow in massa utilizzando questo filtro in Page Explorer su  Audit Site di Ahrefs.

Siccome è raro che abbia senso mettere il nofollow a tutti i link di una pagina, il numero di risultati dovrebbe essere zero o vicino allo zero. Se ci sono risultati che soddisfano i criteri, ti chiedo di controllare rapidamente se le direttive nofollow sono state aggiunte per errore al posto del noindex ed usare un metodo di rimozione più appropriato se necessario.

Puoi trovare anche link individuali contrassegnati dal nofollow utilizzando questo filtro nel Link Explorer.

Questi segnali sono in conflitto. Noindex dice di rimuovere la pagina dall’indice, e canonical dice che l’altra pagina è la versione che dovrebbe essere indicizzata. Questo potrebbe forse servire come consolidamento perché Google tipicamente sceglie di ignorare il noindex e usa invece il canonical come segnale principale. Tuttavia, non è un comportamento assoluto. C’è un algoritmo coinvolto e c’è il rischio che il tag noindex sia un segnale preso in considerazione. Se è questo il caso, allora le pagine non verranno propriamente consolidate.

Nota che puoi trovare pagine con noindex con canonical non autoreferenziali utilizzando questo set di filtri nel Page Explorer nel Site Audit:

Ci sono un paio di modi perché questo accade di solito:

In entrambi i casi, lo stato finale è il blocco dalle scansioni. Se ti ricordi, prima, abbiamo parlato di come la scansione non sia la stessa cosa dell’indicizzazione. Anche se queste pagine sono bloccate, possono finire nell’indice.

Se possiedi il contenuto che è stato usato da un altro sito web, potresti essere in grado di esporre un reclamo basato sul Digital Millennium Copyright Act (DMCA). Puoi usare lo  strumento Google di Rimozione Copyright per fare ciò che si chiama una rimozione DMCA, che richiede la rimozione di ogni materiale protetto da copyright.

Se sei nell’EU, puoi ottenere la rimozione del contenuto che contiene informazioni che ti riguardano grazie ad un ordine del diritto all’oblio. Puoi richiedere la rimozione di informazioni personali utilizzando il modulo EU Privacy Rimozione.

Per rimuovere le immagini da Google, il modo più facile è il robots.txt. Mentre il supporto non ufficiale della rimozione delle pagine è stato tolto da robots.txt come detto prima, disabilitare semplicemente la scansione delle immagini è il metodo migliore per rimuoverle.

Per una immagine singola:

Per tutte le immagini:

Come potrai rimuovere gli URL dipende dalla situazione. Abbiamo visto molte opzioni, ma se sei ancora confuso ed è normale esserlo, guarda di nuovo al diagramma di flusso all’inizio.

Puoi anche rivolgerti alla risoluzione dei problemi legali fornita da Google per la rimozione dei contenuti.

Domande? Fammele su Twitter.

Tradot­to da Mau­ro Marinel­lo