了解zblog的robots.txt写法之前请先了解以下两个概念：
zblog源文件默认是没有Robots.txt这个文件的,所以我们应该手工创建robots.txt文件， 通过robots.txt语法禁止搜索引擎收录一些不必要的页面，以“清洁”收录，提高质量。
在zblog中，诸 如评论等页面都是可以禁止搜索引擎收录的，评论和留言页面历来是黒帽SEO的主战场，所以我们第一步就是将它们给清扫了。以下是本站的robots.txt，大家可以简单参阅。
User-agent:*
#Sitemap
Sitemap:http://www.f99y.com/sitemap.xml //这个指引搜索引擎蜘蛛找到你的Sitemap，在Google管理员工具中检测提示错误，这是Google Robots.txt的一个BUG，事实上是有效果且正确的。
#Directories
Disallow:/ADMIN/ //管理员登陆入口，搜索引擎就不要进来吧？呵
Disallow:/SCRIPT/ //我们调用的SCRIPT文件，搜索引擎抓到了，也不读。
Disallow:/PLUGIN/ //插件目录，不需要抓取
Disallow:/FUNCTION/ //不需抓取
Disallow:/UPDATE/ //Zblog官方的升级信息目录，不需抓取。
Disallow:/ARTICLE-IMAGE/ //网站模板中用到的一些小图标，这些在网上到处都是，就是让搜索引擎抓去了也没有排名，还浪费你的资源。
Disallow:/DATA/ //数据库目录
Disallow:/CACHE/ //Zblog生成静态页的缓存目录，这个和你的正常文章基本一致，高重复。建立拿掉
Disallow:/STYLE/ //CSS生成目录，不需抓取
Disallow:/TEMPLATE/ //模板目录，不需抓取
Disallow:/CSS/ //CSS的一些调用文件目录，不需抓取
Disallow:/LANGUAGE/ //语言目录，不必抓取
#Files
Disallow:/login.asp //我们的登录后台文件，不需抓取。
Disallow:/cmd.asp? //这个是供别人引用通知时产生的页面，不需抓取。
Disallow:/search.asp //搜索页，这页在没有人使用时，就是一个空页
Disallow:/atom.xml //支持ATOM的FEED页，高重复。
Disallow:/rss.xml //支持RSS的FEED页，高重复。
Disallow:/view.asp? //一般后台预览时生成的页面，高重复。