搜索引擎利用网站地图的建立蜘蛛在互联网上爬行

网站地图简介

网站地图是一个XML文件，它包含一个网址URL表和相关的属性，详细说明应索引某个特定网站的哪些内容。网站地图必须为UTF-8编码。下面是网站地图文件需要的XML元素：

<urlset> -- 网站地图文件以这个标签起始和结束，起始标签必须包括命名空间（xmlns）属性。

<url> -- 文件中的每一个网页包含在这个元素之中。

<loc> -- 文件中指定的网页的实际地址。它是<url>元素的一个子元素。

文件中还有下列可选元素：

<lastmod> -- <url>元素的一个子元素。它指定最近一次更新网页的时间。

<changefreq> -- <url>元素的一个子元素。它指定网页更新的频率（经常、每小时、每天、每周、每月、每年及从未更新）。

<priority> -- <url>元素的一个子元素。它指定网站内网页相对于其它网页的重要性，有效值为0.0-1.0，默认值为0.5。

下面的网站地图样本说明如何在一个样本网页中应用这些元素。它为一个假定的网站指定主页，以及它的更新频率，上次更新的时间和网站中的优先权。

<?xml version="1.0" encoding="UTF-8"?>
<urlsetxmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.test.com/</loc>
<lastmod>2006-11-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.3</priority>
</url>
</urlset>

网站地图文件的位置由你自己决定，但它的位置决定了可能包含中文件中的URL集。例如，如果上面的样本网站地图文件位于http://www.test.com/sitemap.xml，那么网站地图文件中可能包含任何以http://www.test.com/开头的URL。因此，我们建议将网站地图文件存放在网站的根目录下。网站地图文件的大小不得超过10MB。如果一个文件超出这个限制，就需要使用gzip进行压缩。

建立一个网站地图

既然网站地图以XML为基础，就可以方便的使用任何文本编辑器建立并编辑它们，不过也可以应用专门的工具。下面的列表提供了一些当前的工具：

Node Map：一个生成并确认网站地图XML文件的工具。

Gsitemap：一个应用.NET Framework建立的网站地图生成工具。

GSiteCrawler：一个生成网站地图文件的Windows工具。

phpSitemapNG：一个用PHP编写的免费网站地图生成器。

Google Sitemap Generator：一个可以用于生成网站地图文件的Python脚本。

通告搜索引擎

建立一个网站地图文件后，应该将它提交给一个搜索引擎。每个搜索都拥有自己的网站地图提交界面。Google的Webmaster工具集中包含了一个网站地图提交页面。在使用之前你必须注册一个账户。雅虎也有一个免费的网站地图提交页面，但在使用之前同样必须注册一个账户。其它搜索引擎也会仿效Google、雅虎和MSN，提供相似的功能。

其它工具

搜索引擎收录网页的爬行过程缓慢而且需要大量资源。网站地图为网站指定应收录哪些内容而进行搜索提供了一种方法。它们建立像XML一样的简单文本格式文件，但有许多工具可以帮助你建立网站地图文件。现在，它们只是对当前的处理过程进行补充。