Premessina : Googlebot è lo spider di Google per scansionare il web.

Ma, una ricerca più approfondita del solito, mi ha portato, finalmente a capire meglio quanti e quali sono i bot (spider) che Google usa per scandagliare milioni di pagine web ogni giorno. Non poteva, infatti, essere un unico spider responsabile dell’indicizzazione di milioni di contenuti differenti fra loro.

• 
  

  Google Bot

  Questo spider è utilizzato da Google alla ricerca di nuove pagine. Si divide in due versioni. Il Deep bot cerca di seguire ogni link e scaricare più pagine possibili. Legge il contenuto nel dettaglio inclusa la struttura interna. Il Fresh bot ricerca nuovi e recetni contenuti rivisitando pagine già indicizzate alla ricerca di update particolari. Logicamente, pagine ad elevato ranking per Google riceveranno la visita del Fresh bot più spesso rispetto ad altre a ranking più basso.

• 
  

  Media Bot

  Come fà Google a piazzare annunci Adsense sempre pertinenti al contenuto visualizzato? La risposta sta in questo bot che analizza i vari contenuti e pagine in cui inserire Adsense. Solo dopo che questo spider ha visitato per la prima volta le vostre pagine vedrete comparire Adsense, altrimenti nulla. Per facilitare questo processo che, a volte, è lento, inserite nel file robot.txt file :
  User-agent: Mediapartners-Google*

• 
  

  Image Bot

  Come indica chariamente il nome, si tratta del bot usato per ricercare e indicizzare le immagini da piazzare in Google’s image search. Il ranking delle immagini si basa sul nome del file, testo dell’attributo alt, alt text, contenuti di contorno e titolo della pagina che le include. Ne ho parlato dettagliatamente qui

• 
  

  Ads Bot

  Determina la qualità degli ads da assegnare alle pagine web. Va a braccetto con il Media bot per determinare quali annunci e con quali caratteristiche di qualità inserire nelle varie pagine web.