关于站点地图
Google 可通过站点地图发现用其他方式可能无法在您的网站上找到的网页。用最简单的话来讲,XML 站点地图(一般就叫站点地图)就是您网站上各网页的列表。创建并提交站点地图有助于确保 Google 了解您网站上的所有网页,包括 Google 在正常抓取过程中可能找不到的网址。
除了常规的站点地图外,您还可以创建专门设计的站点地图来为 Google 提供关于特定网络内容的信息,包括视频、移动版内容、资讯、代码搜索和地理 (KML) 信息。
您想要做什么?
在以下情况下,站点地图特别有用:
- 网站含动态内容。
- 您的网站中包含在 Googlebot 抓取过程中不易发现的网页,例如含有富 AJAX 或图片内容的网页。
- 网站为新网站且指向该网站的链接不多。(Googlebot 会跟随链接从一个网页到另一个网页抓取网页,因此,如果您的网站没有很好地链接,我们可能很难发现它。)
- 网站有大量内容页存档,这些内容页彼此之间没有很好地链接,或根本就没有链接。
Google 不保证一定会抓取所有网址并将其编入索引。例如,我们不会抓取您的站点地图中所含的图片网址,也不会将其编入索引。但是,我们会使用站点地图中的数据了解网站的结构,这样可以让我们改进抓取工具的计划,并在日后能更好地对网站进行抓取。大多数情况下,网站管理员会因提交站点地图而受益,而决不会为此受到处罚。
您还可以使用站点地图来提供有关您的网站的其他信息,如上次更新日期、网页的预计更新频率等等。详情。
Google 遵守 sitemaps.org 所定义的 Sitemap 协议 0.9。因此,使用 Sitemap 协议 0.9 为 Google 创建的站点地图和其他采用 sitemaps.org 标准的搜索引擎兼容。
- 一个站点地图可以包含一个网址列表或站点地图列表。
- 如果您的站点地图包含另一组站点地图,您应将自己的站点地图另存为站点地图索引文件,并使用该文件类型专用的 XML 格式。每个站点地图索引文件最多可以列出 50,000 个站点地图。
- 一个站点地图文件包含的网址不得超过 50,000 个,且未压缩时不得大于 10MB。如果您的站点地图超过了这些限值,请将其拆分为几个小的站点地图。这些限制条件有助于确保您的网络服务器不会因向 Google 提供大文件而超载。
- 使用相同的语法指定所有网址。例如,如果您指定网站的位置为 http://www.example.com/,则网址列表中不应包含以 http://example.com/ 开头的网址。如果您指定网站的位置为 http://example.com/,则网址列表中不应包含以 http://www.example.com/ 开头的网址。
- 请不要在网址中包含会话 ID。
- 请不要在站点地图中包含直接图片网址。Google 不会将图片直接编入索引中,而是将显示图片的网页编入索引。站点地图中包含的直接图片网址不会编入索引。
- 站点地图网址必须进行编码,以便于所在的网络服务器进行读取。另外,它只可以包含 ASCII 字符,不能包含大写 ASCII 字符、某些控制码或特殊字符(如 * 和 {} 等)。如果您的站点地图网址包含这些字符,在您试图添加该网址时就会显示错误消息。
Google 可支持多种格式的站点地图,但我们建议您根据 Sitemap 协议来创建站点地图,这是因为相同的文件也可能提交给其他搜索引擎,例如 MSN 和 Yahoo!,这些搜索引擎都是 sitemaps.org 的成员。
您可通过以下多种方式创建站点地图:
- 根据 Sitemap 协议手动创建站点地图
- 使用站点地图生成器。如果您可以访问您的网络服务器,且网络服务器上安装有 Python,那么,您可以使用我们的脚本来创建使用 Sitemap 协议的站点地图。Google 站点地图生成器是一种 Python 脚本,可利用 Sitemap 协议为您的网站创建站点地图。此脚本可通过网址列表、网络服务器目录或访问日志来创建站点地图。
- 使用第三方工具。很多第三方都提供了可用于创建有效的站点地图的工具。
Google 可支持 RSS(真正简单的联合)2.0 供稿和 Atom 1.0 供稿。如果您的博客具有 RSS 或 Atom 供稿,您可将该供稿的网址作为站点地图来进行提交。大多数博客软件会为您创建供稿。请注意,供稿可能只会提供最近网址的相关信息。
您可以向 Google 提供一个简单的文本文件,文件中的每行只包含一个网址。例如:
http://www.example.com/file1.htmlhttp://www.example.com/file2.html要获得最佳效果,请按照以下指南操作:
- 由于 Google 会完全按照您所提供的网址来尝试进行抓取,因此,您必须指定完整的网址。
- 每个文本文件最多可包含 50,000 个网址。如果您的网站所含的网址数量超过 50,000 个,那么,您可将列表分成多个文本文件,然后分别添加每个文件。
- 文本文件必须使用 UTF-8 编码。您可在保存文件时设置此项(例如,在记事本中,此项会在"另存为"对话框的"编码"菜单中列出)。
- 文本文件不应包含网址列表以外的任何信息。
- 文本文件不应包含任何页眉或页脚信息。
- 您可以对文本文件任意命名。Google 建议您将文件的扩展名设置为 .txt,以表明该文件为文本文件(例如 sitemap.txt)。
您应将此文本文件上传到您的服务器。创建此文件后,您可将其作为站点地图来进行提交。此过程虽然需要手动执行,但如果您对编写网络服务器的脚本或管理网络服务器还不熟悉,那么,此过程是最简单同时也可能是最有效的方法。
如果您有多个网站,可以创建一个或多个包含您所有已经过验证的网站网址的站点地图,然后将这些站点地图保存到同一位置,以此来简化创建和提交站点地图的过程。所有网站都必须使用网站管理员工具进行验证。详情。
如果您用支持的格式创建了一个站点地图,可以通过 Google 网站管理员工具将它提交给 Google。这样可以让 Google 向您提供实用的状态信息和统计信息。
在开始之前,请确保您已在自己的网站管理员工具帐户中添加并验证了以下网站:
- 站点地图所在的网站
- 站点地图中引用其网址的网站
- 将站点地图上传到您的网站。
- 在网站管理员工具主页上,点击所需的网站。
- 在网站配置下,点击站点地图。
- 在文本框中填写指向站点地图的路径(例如,如果您的站点地图位于 http://www.example.com/sitemap.xml,请键入 sitemap.xml)。
- 点击提交站点地图。
您可通过向 robots.txt 文件添加以下行(将示例网址更新为自己的站点地图的完整路径)的方式通知 Google 以及其他搜索引擎有关您站点地图的信息:
Sitemap: http://example.com/Sitemap 位置.xml此指令不受 User-agent 行的影响,因此,您可将其放置在您文件中的任意位置。如果您有站点地图索引文件,可以加入该文件的位置。您无需一一列出索引文件中所列的各个站点地图。
对站点地图进行更改后,您可以使用自己的 Google 网站管理员工具帐户或通过 HTTP 请求来重新提交站点地图。
使用网站管理员工具重新提交站点地图
- 在网站管理员工具主页上,点击所需的网站。
- 在网站配置下,点击站点地图。
- 选择您要重新提交的站点地图,然后点击重新提交。
通过向 Google 发送 HTTP 请求重新提交站点地图
如果选择这种方式,那么,您无需使用网站管理员工具来重新提交站点地图。最后一次提交时间列会继续显示您最后一次手动点击链接的时间,而最新下载时间列则会更新,显示我们的系统最后一次抓取您的站点地图的时间。
要通过 HTTP 请求来重新提交站点地图,请按以下步骤操作:
- 将您的请求发送到以下网址:
www.google.com/webmasters/tools/ping?sitemap=sitemap_url例如,如果您的站点地图位于 http://www.example.com/sitemap.gz,那么,您的网址将变为:
www.google.com/webmasters/tools/ping?sitemap=http://www.example.com/sitemap.gz- 对 /ping?sitemap= 之后的所有内容进行网址编码:
www.google.com/webmasters/tools/ping?sitemap=http%3A%2F%2Fwww.yoursite.com%2Fsitemap.gz- 您可以使用 wget、curl 或您所选择的其他机制来发出 HTTP 请求。
请求成功后将会返回 HTTP 200 响应代码;如果您收到的是其他的响应,则应重新提交请求。返回了 HTTP 200 响应代码仅表示 Google 已收到您的站点地图,并不表示站点地图本身或其包含的网址都有效。要获取有关自己站点地图的状态信息,请通过网站管理员工具帐户重新提交站点地图。我们建议您每小时最多重新提交一次站点地图。进行此操作的一种简单方法是设置自动执行的作业来定期生成和提交站点地图。
请注意:如果您要提供站点地图索引文件,只需发送一个包含该站点地图索引文件位置的 HTTP 请求即可,不必为索引中所列的每个站点地图分别发送请求。
提交站点地图时遇到问题
如果您在提交站点地图时遇到问题,请确保站点地图中包含的您网站的网址与网站管理员工具帐户中显示的网址完全相同。例如,如果已将 http://www.example.com 网站添加到网站管理员工具,就不应将网址列为 http://example.com/home.html 格式,而应使用:http:///www.example.com/home.html。
站点地图错误
"站点地图详细信息"页会列出 Google 在您的站点地图中发现的任何错误,以及有关潜在问题的警告。请参见有关最常见的站点地图错误的详情。
检查完您的站点地图并进行更改后,请将其保存并重新提交。Google 处理重新提交的站点地图最长可能需要一天时间,因此,警告状态也可能持续显示一天。
检查完您的站点地图并进行更改后,请将其保存并重新提交。Google 处理重新提交的站点地图最长可能需要一天时间,因此,警告状态也可能持续显示一天。