一般情况下，搜索引擎蜘蛛会跟着网站链接爬行到你网站的所有网页。但更多时候，由于种种原因，并不是所有网页都能被搜索引擎收录进数据库。例如，你的网站是数据库生成的动态链接，URL中带有各种参数，有些网页离主页太远，网站PR值太低，新的网页可能过很长时间才有机会被收录等等。

网站地图是一个列出了你所有需要被抓取的网页及重要性级别。据很多人证实，网站地图确实能提高被搜索引擎收录的网页数目，而且似乎搜索引擎每天都会抓取网站地图的内容。

所以，如果你有新的网页，或者你的网站内容更新比较快，网站地图是一个很好的通知搜索引擎的工具。

我在这里想和大家分享几个网站地图用于搜索引擎优化的心得。

第一，一般情况下网页被收录的越多越好。如果你的网站有很多网页都没有被搜索引擎收录的话，应该试一下网站地图。

第二，在搜索引擎Google网站地图管理界面中，你甚至可以看到Google是否惩罚了你的网站。我感觉这是一个最重要的必须要使用网站地图的原因。虽然这个功能最好永远都用不上。

第三，在搜索引擎Google网站地图管理界面Diagnostic(诊断)部分，你的网站在被抓取的时候，如果存在什么问题都会被一一列出来。例如URL错 误，404错误，服务器宕机等等。而在HTTP错误中，还可以看到有哪些URL是存在问题的，这样可以及时解决网站上的技术问题。

第四，Diagnostic部分还提供了一个robots.txt文件检测工具。有时候我们不希望搜索引擎来抓取某些重要目录或文件，用 robots.txt文件是一个标准方法。但如果这个文件写的有问题，可能会造成搜索引擎完全不爬行你的网站。你可以用这个Google Sitemaps检测工具测试某一目录或文件是否被排除在搜索引擎之外。

第五，在搜索引擎Google网站地图Statistic(统计资料)部分，有很多非常有用的信息。

比如搜索统计(query stats)。Google会列出用户在找到你的网站时，使用的是什么关键词。在这个关键词下，你排名第几(top search queries)。在这个关键词下，你又得到了多少点击(top search query clicks)。虽然你可以从服务器日志文件中得到同样的资料，但Google在他的界面中，已经非常清楚的列出了这些信息，非常好用。

你可以从关键词统计信息中，清楚的看到你的目标关键词表现怎么样，你的标题标签写 的怎么样。

第六，我觉得搜索引擎google最重要的一个统计信息就是，在网页分析统计(page analysis)栏目下，Google列出了Google所认为的你的网站与哪些关键词最有关(In your site’s content)。同时列出了在Google的数据库里面，你的反向链接都是使用哪些关键词做链接文字的(In external links to your site)。

通过以上可以看出网站地图对网站优化的影响是很大的，所以赶紧给自己的网站制作一份网站地图吧。