Un fichier robots.txt restreint l'accès des robots d'exploration du Web à votre site. Ces robots sont automatisés et, avant d'accéder aux pages d'un site, ils vérifient si un fichier robots.txt leur interdit d'accéder à certaines pages. Tous les robots sérieux respectent les instructions d'un fichier robots.txt, mais certains robots peuvent les interpréter différemment. Toutefois, un fichier robots.txt n'est pas incontournable et certains spammeurs (ou d'autres utilisateurs mal intentionnés) peuvent l'ignorer. C'est pourquoi nous vous conseillons de protéger vos données confidentielles par un mot de passe.
Un fichier robots.txt est nécessaire uniquement si votre site contient des informations que vous ne souhaitez pas que les moteurs de recherche indexent. Si vous souhaitez que les moteurs de recherche indexent l'intégralité du contenu de votre site, tout fichier robots.txt (même vide) est inutile.
Même si le contenu des pages bloquées par le fichier robots.txt n'est ni exploré, ni indexé, il est possible que nous indexions les URL de ces pages si nous les rencontrons sur d'autres sites Web. Cela signifie que l'URL de la page et, éventuellement, d'autres informations accessibles au public, notamment le texte d'ancrage des liens qui pointent vers le site ou le titre créé par l'ODP (Open Directory Project, www.dmoz.org) peuvent apparaître dans les résultats de recherche Google.
Pour utiliser un fichier robots.txt, vous devez avoir accès à la racine de votre domaine (si vous n'êtes pas sûr, consultez votre hébergeur Web). Si vous n'avez pas accès à la racine du domaine, vous pouvez restreindre l'accès à l'aide de la balise Meta robots.