Webmaster/Website-Inhaber-Hilfe

Sie können mithilfe eines umgekehrten DNS-Lookups verifizieren, ob es sich bei dem Suchroboter, der auf Ihren Server zugreift, um Googlebot handelt. Dabei wird überprüft, ob sich der Name in der googlebot.com-Domain befindet. Anschließend wird bei einem vorwärtsgerichteten DNS-Lookup dieser Googlebot-Name verwendet. Dies ist hilfreich, wenn Sie befürchten, dass Spammer oder bösartige Nutzer auf Ihre Website zugreifen und sich dabei als Googlebot ausgeben.

Beispiel:

> host 66.249.66.1


1.66.249.66.in-addr.arpa domain name pointer 


crawl-66-249-66-1.googlebot.com. 




> host crawl-66-249-66-1.googlebot.com 


crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google stellt keine öffentliche Liste mit IP-Adressen zur Verfügung, die Webmaster auf die weiße Liste setzen können. Der Grund hierfür ist, dass sich die IP-Adressbereiche ändern können und dies im Fall der Hartcodierung der Adressen zu Problemen führt. Zugriffe durch Googlebot identifizieren Sie am einfachsten mithilfe des User-Agents (Googlebot).