Google dà priorità assoluta alla qualità dei risultati delle ricerche. Pertanto, Google può escludere le pagine di un sito dai propri indici solo su richiesta del Webmaster responsabile del sito. Il rispetto di questa norma permette di evitare la rimozione ingiustificata di pagine dall'indice.

Poiché Google ha come obiettivo quello di fornire risultati corretti e reali agli utenti, non può sostenere alcuna iniziativa mirata a censurare le informazioni contenute su Internet.

Le opzioni di rimozione descritte di seguito possono essere selezionate in qualsiasi momento, ma diventano effettive solo dopo la nuova scansione del Web, che viene eseguita ad intervalli di sei-otto settimane.

• Modifica dell'URL di un sito Web
• Rimozione di un sito Web
• Rimozione di singole pagine
• Rimozione di una sintesi
• Rimozione di copie cache
• Rimozione di collegamenti obsoleti (non validi)
• Rimozione di un'immagine dalla Ricerca immagini di Google

Modifica dell'URL di un sito Web

Poiché il crawler di Google associa il contenuto di una pagina all'URL non è possibile modificare manualmente l'URL della pagina Web. L'URL viene aggiornato nel corso della scansione successiva. Poiché la scansione viene effettuata in modo completamente automatico, non è possibile anticipare manualmente la data di questa operazione.

Se l'URL del sito Web è stato modificato dopo l'ultima scansione, è possibile utilizzare il modulo per l'invio di URL e seguire le istruzioni per la rimozione indicate di seguito. Tuttavia, poiché l'URL non viene rimosso immediatamente, l'uso delle opzioni di rimozione può rendere il sito Web inaccessibile a Google.

Anziché richiedere a Google di modificare l'URL, è preferibile chiedere ai proprietari dei siti Web correntemente collegati a quello interessato di aggiornare i collegamenti (in modo che gli utenti siano reindirizzati al nuovo URL). È importante ricordarsi anche di modificare le eventuali voci inserite nella directory Yahoo! e nell'Open Directory. Inoltre, se il reindirizzamento dei vecchi URL ai nuovi viene effettuato utilizzando reindirizzamenti HTTP 301 (permanenti), il crawler di Google è in grado di rilevare il nuovo URL da usare. Le modifiche effettuate con queste modalità diventano effettive solo dopo 6-8 settimane.

Per escludere un sito Web o una parte di server (directory) dall'indicizzazione di Google, è possibile installare nella directory principale del server un file denominato robots.txt.

Per evitare che Google e gli altri motori di ricerca possano effettuare operazioni di scansione sul sito, installare il file indicato di seguito nella directory principale del server:

Queste istruzioni rappresentano il protocollo standard utilizzato dalla maggior parte dei sistemi di scansione Web per escludere un server o una directory Web dall'indicizzazione. Per ulteriori informazioni su robots.txt, consultare il sito Web http://www.robotstxt.org/wc/norobots.html.

Per impedire a tutti i file robots di indicizzare singole pagine del sito, inserire il seguente metatag nel codice della pagina HTML:

Per escludere le pagine solo dall'indicizzazione di Google e permetterne l'indicizzazione da parte di altri motori di ricerca, utilizzare il seguente tag:

Per ulteriori informazioni su questo metatag standard, consultare il sito Web : http://www.robotstxt.org/wc/exclusion.html#meta.

Per "sintesi" si intende il testo relativo a un risultato della ricerca in cui tutti i termini ricercati sono evidenziati in grassetto. Le sintesi permettono all'utente di esaminare il contesto in cui sono utilizzati i termini prima di selezionare la pagina. Se per una pagina è disponibile una sintesi, l'utente sarà più propenso a selezionarla.

Per evitare che Google visualizzi una sintesi per ciascuna delle pagine, utilizzare il seguente tag:

Nota: la rimozione della sintesi provoca anche la rimozione delle versioni cache delle pagine.

Google memorizza nella cache il testo di molti dei documenti indicizzati durante la scansione per dare modo agli utenti di richiamare la copia cache nel caso in cui la pagina originale non sia disponibile (a causa di un problema temporaneo sul server Web). La versione cache della pagina presenta lo stesso layout di quando è stata indicizzata da Google. Nella parte superiore viene riportato un messaggio per segnalare che non si tratta della pagina originale.

Per escludere il proprio sito Web dall'indicizzazione di tutti gli indicizzatori, utilizzare il metatag NOARCHIVE. Inserire questo tag nella sezione <HEAD> dei documenti, come mostrato di seguito.

Per escludere le pagine solo dall'indicizzazione di Google e permetterne l'indicizzazione da parte di altri motori di ricerca, utilizzare il seguente tag:

Nota: questo tag rimuove solo l'opzione Versione cache presente sulla pagina, ma non esclude la pagina dall'indicizzazione né previene la visualizzazione di sintesi di testo.

Google aggiorna automaticamente e regolarmente l'intero indice. Nel corso di ogni scansione, il crawler individua le nuove pagine Web, aggiorna automaticamente i collegamenti e scarta quelli non validi. Pertanto, i collegamenti non validi verranno probabilmente "rimossi" dall'indice alla successiva scansione.

La richiesta di rimozione di un'immagine dall'indice delle immagini di Google, deve pervenire dal Webmaster del sito. Per effettuare questa operazione, è necessario chiedere al Webmaster di aggiungere il file robots.txt nella directory principale del server (se non è possibile effettuare questa operazione, installare il file a livello di directory).

Esempio: se il sito è www.yoursite.com/images/dogs.jpg e si desidera escludere dall'archivio delle immagini l'immagine dogs.jpg presente sul sito, è sufficiente creare una pagina denominata www.yoursite.com/robots.txt ed inserire le seguenti istruzioni:

Per rimuovere tutte le immagini del sito dall'indice, installare il seguente file robots.txt nella directory principale del server:

Dopo che il Webmaster ha aggiunto il file, inviare un messaggio a googlebot@google.com indicando la modifica e la posizione del file. L'immagine verrà rimossa entro 48 ore. Per ulteriori informazioni sui file robots.txt e sul loro uso, consultare la pagina Web http://www.google.com/webmasters/3.html#B3.