Escludere una pagina web dalla SERP di Google è una faccenda che, prima o poi, potrebbe capitare a tutti. I motivi alla base potrebbero essere moltemplici, contenuti duplicati su tutti.
La rimozione di una URL dai risultati di ricerca di BigG non è cosa difficile purchè si seguano alcuni passi basilari e non si cerchino altre strade che non portano a nulla.
La mia esperienza mi dice che, seguendo una delle due seguenti strade, nel giro di poche ore, vedrete sparire la url interessata dalla SERP.
Strumento per la richiesta di rimozione di pagine web
L’attività in comune, per le due strade che vedremo in seguito, è quella di sfruttare lo strumento Google Webmaster per la rimozione di url. Accedete con il vostro account a Google Webmaster e, quindi, aprite la pagina relativa allo strumento di rimozione e procedete ad inserire le pagine web che volete rimuovere leggendo bene ciò che è scritto per effettuare la scelta migliore.
Ma non basta. Solitamente Google vi chiede di accompagnare a questa azione, un’altra modifica.
Vediamo, proseguendo nell’articolo, le due alternative a disposizione in dettaglio anche se Google ce ne da un assaggio in questa pagina.
File Robots.txt

Il file robots.txt è un file che viene utilizzato per dare delle istruzioni precise ai crawler dei motori di ricerca. In sostanza, è usato per non far indicizzare una pagina, un sito, una directory del proprio sito o anche per rimuovere una o più immagini da Google Immagini. E non solo da Google, logicamente
E’ possibile creare un file robots.txt come indicato qui
Dopo aver creato il file, potete inserire tutti i comandi che desiderate per impedire a Google di indicizzare pagine web o immagini.
Fondamentalmente il file robots.txt utilizza 2 comandi :
User-agent: il robot al quale si da l’istruzione
Disallow: l’URL che si desidera bloccare
Ad esempio, se volete bloccare l’intero sito/blog ecco cosa scrivere :
User-agent: *
Disallow: /
Oppure per bloccare un folder e il suo contenuto :
User-Agent: Googlebot
Disallow: /cartella/
Oppure per bloccare una pagina web :
User-Agent: *
Disallow: /pagina.html
Oppure per bloccare un’immagine da Google :
User-agent: Googlebot-Image
Disallow: /immagini/esempio.jpg
Insomma avete capito come funziona. Ricordatevi che utilizzando l’asterisco bloccherete la pagina su tutti i motori, mentre con Googlebot solo per Google. Questa è la prima alternativa. Passiamo alla seconda.
Metatag noindex
Se Google rileva un metatag noindex su una pagina (come quello mostrato qui sopra), provvede ad eliminare completamente la pagina dai risultati di ricerca. Questo accade anche se altre pagine contengono link a essa. Il metatag in oggetto che dovete inserire ad inizio pagina come semplice codice html, in pratica, consente di controllare l’accesso al vostro sito pagina per pagina. Anche in questo caso, se sostituite alla voce robots, la voce googlebot, restringerete la non indicizzazione solo al motore di Google e non a tutti.
Chioso l’articolo con un video di MattCutts che, in circa tre minuti, cerca di dare un sunto del discorso. Interessante :




[...] o più immagini da Google Images e simili. Avevo già scritto,a tal proposito, qualche cosa sulle istruzioni più importanti da inserire nel robots.txt e continuo ad esser dell’idea che è molto più vantaggioso e conveniente provvedere alla [...]