通过robots.txt引导搜索引擎robot的抓取
搜索引擎通过一种程序robot（又称spider、机器人、蜘蛛），来访问互联网上的网页信息。对此，你可以通过一种纯文本文件robots.txt来引导搜索引擎robots的抓取。robots.txt的制作很简单，只要建立一个文本文件重命名为robots.txt。然后将写好限制条件的robots.txt上传到网站根目录就可以了。另外切记robots.txt的文件名必需小写，不能写成ROBOTS.TXT
还是来介绍一下robots.txt的写法，以便更好的引导搜索引擎对我们网站的抓取：
主题:
网络营销 | No Comments »