1、凡事有利也有弊，robots.txt带来好处的同时也带来一定的风险。给网络攻击者指明了网站的目录结构及私密数据存放位置。虽说在Web服务器安全措施配置得当的情况下不是一个严重的问题，但是也降底了不怀好意者攻击的难度。比如：如果网站的私密数据通过www.yourname.com/admin/index.html访问，那么，robots.txt的设置可能如下

User-agent:*

Disallow:/admin/

在这种情况下，攻击者只需要看一下robots.txt既可知道你的私密数据在那里。在浏览器里输入：www.yourname.com/admin/既可访问我们不欲公开的内容。对于这种情况，一般采取如下方法：

设置访问权限，对/admin/中的内容实施密码保护，这样，攻击者便无从进入。另一种方法即是将缺省主文件index.html更名为其它。比如更名为abc-index.html。这样访问的目录即为www.yourname.com/admin/abc-index.html，同时，制作一个index.html内容大致为“你没有权限访问此页面”之类，这样，攻击者便因不知实际文件名而无法访问私密数据。

2、如果设置不对，将导致搜索引擎将索引的数据全部删除。

User-agent:*

Disallow:/

上述代码将禁止所有搜索引擎索引数据