1.robots.txt 的概念？

2.书写robots.txt 的经典实例?

       zblog源文件默认是没有Robots.txt这个文件的,所以我们应该手工创建robots.txt文件， 通过robots.txt语法禁止搜索引擎收录一些不必要的页面，以“清洁”收录，提高质量。

        在zblog中，诸 如评论等页面都是可以禁止搜索引擎收录的，评论和留言页面历来是黒帽SEO的主战场，所以我们第一步就是将它们给清扫了。以下是本站的robots.txt，大家可以简单参阅。

User-agent:*
#Sitemap
Sitemap:http://www.f99y.com/sitemap.xml //这个指引搜索引擎蜘蛛找到你的Sitemap，在Google管理员工具中检测提示错误，这是Google Robots.txt的一个BUG，事实上是有效果且正确的。
#Directories
Disallow:/ADMIN/ //管理员登陆入口，搜索引擎就不要进来吧？呵
Disallow:/SCRIPT/ //我们调用的SCRIPT文件，搜索引擎抓到了，也不读。
Disallow:/PLUGIN/ //插件目录，不需要抓取
Disallow:/FUNCTION/ //不需抓取
Disallow:/UPDATE/ //Zblog官方的升级信息目录，不需抓取。
Disallow:/ARTICLE-IMAGE/ //网站模板中用到的一些小图标，这些在网上到处都是，就是让搜索引擎抓去了也没有排名，还浪费你的资源。
Disallow:/DATA/ //数据库目录
Disallow:/CACHE/ //Zblog生成静态页的缓存目录，这个和你的正常文章基本一致，高重复。建立拿掉
Disallow:/STYLE/ //CSS生成目录，不需抓取
Disallow:/TEMPLATE/ //模板目录，不需抓取
Disallow:/CSS/ //CSS的一些调用文件目录，不需抓取
Disallow:/LANGUAGE/ //语言目录，不必抓取
#Files
Disallow:/login.asp //我们的登录后台文件，不需抓取。
Disallow:/cmd.asp? //这个是供别人引用通知时产生的页面，不需抓取。
Disallow:/search.asp //搜索页，这页在没有人使用时，就是一个空页
Disallow:/atom.xml //支持ATOM的FEED页，高重复。
Disallow:/rss.xml //支持RSS的FEED页，高重复。
Disallow:/view.asp? //一般后台预览时生成的页面，高重复。

网摘推广一方面可以提高网页的曝光率，增加网站的点击量；另一方面，网摘可以增加反向链接，对促进网页排名也有一定的好处。并且，网摘推广这种方法操作起来也是非常简单，总之，网摘推广是一种非常不错的推广方式。

以下是网摘推广的五个技巧：

1. 网摘站点很多，没必要去所有的网摘站点去做推广，挑选几个主流的站点和更适合你网站内容推广的网摘网站（比如，你的网站主要是以图片为主，可以去专门做图片收藏的网摘站点推广）就可以了.

2. 在网摘中推荐文章，最重要的是文章标题，大部分网站的标题在收录时都可以修改，最好将原标题修改成一个更新颖更个性的标题。但修改不能太过分，不要纯粹为了吸引点击而改成和自己文章内容无关的标题。

3. 向网摘网站提交文章时，一定要记得添加标签Tag，并且要尽可能的多。增加尽可能多的标签，文章就会多一些曝光的机会，也就可以获得更多的点击量。一般网摘站点都会提供每周热门标签列表，在收藏文章打标签的时候，应该多使用这些热门标签。

4. 选择合适的推荐时间：避免在上网高峰时间推荐，因为这段时间推荐的用户较多，所以在此时推荐的页面会很快沉底，效果非常不佳。如果在避开这个时间段进行推荐，那么效果将会事半功倍。

5. 没有必要每天在这种方法上花费太多的时间，每天挑选几篇热门的文章去合适的网摘站点推荐就可以了。

　　1、标题长度不能超过18个字，也不能低于12个字，标题要求是原创的，整洁美观，能够全面概括全文。

　　2、首段文字基本不能跟原文有20%以上的相同率。

　　3、文章中的图片要自己下载后再上传，图片中不能有水印，不能带有外连接。

　　4、图片源代码说明在alt标识加上文章的标题。

　　5、其它段加入并重复核心关键词两至三次。进行删减、增加语句、改变句子顺序，编辑，与原图文相同率不能大于50%。

　　6、图文资讯来源同类IT网站，要求为最近两三天最新内容，不得发布过期资讯。

看看人家伪原创的要求是否对自己网站的内容添加有所启迪呢，自己去想吧，我们都是在学习探索中进步的。

　　robots.txt 这个文件是必须写的，记得千万要小写。具体怎么写看看下面的经典实例吧。

　　例1. 禁止所有搜索引擎访问网站的任何部分

　　User-agent: *

　　Disallow: /

　　例2. 允许所有的robot访问

　　(或者也可以建一个空文件 "/robots.txt")

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　(注：这个必须的，不要建空文件，那是百度在放烟。最好写下面一句。)

　　例3. 仅禁止Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow: /

　　例4. 仅允许Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow:

　　User-agent: *

　　Disallow: /

　　例5. 禁止spider访问特定目录

　　在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　例6. 允许访问特定目录中的部分url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　例7. 使用"*"限制访问url

　　禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　例8. 使用"$"限制访问url

　　仅允许访问以".htm"为后缀的URL。

　　User-agent: *

　　Allow: .htm$

　　Disallow: /

　　例9. 禁止访问网站中所有的动态页面

　　User-agent: *

　　Disallow: /*?*

　　例10. 禁止Baiduspider抓取网站上所有图片

　　仅允许抓取网页，禁止抓取任何图片。

　　User-agent: Baiduspider

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　例11. 仅允许Baiduspider抓取网页和.gif格式图片

　　允许抓取网页和gif格式图片，不允许抓取其他格式图片

　　User-agent: Baiduspider

　　Allow: .gif$

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .png$

　　Disallow: .bmp$

　　例12. 仅禁止Baiduspider抓取.jpg格式图片

　　User-agent: Baiduspider

　　Disallow: .jpg$

　　看看自己写的robots.txt，大家参考下：

　　User-agent: *

　　Disallow: /admin/

　　Disallow: /Soft/

　　Allow: /images/

　　Allow: /html/

　　Allow: .htm$

　　Allow: .php$

　　Allow: .asp$

　　Allow: .gif$

　　Allow: .jpg$

　　Allow: .jpeg$

　　Allow: .png$

　　Allow: .bmp$

　　Allow: /

　　解释:

　　1、允许各种搜索引擎索引

　　2、禁止索引/admin目录，这里是网站的后台，当然禁止了

　　3、禁止/soft等重要安全目录

　　4、允许访问/images目录

　　5、允许访问/html目录

　　6、允许访问所有htm，php,asp,html文件

　　7、允许抓取gif,jpg,jpeg,png,bmp格式的图片

　　8、允许抓取网站根目录下的文件。

　　链接也分几种，第一种是站长卖自己站，链接一般比较贵但是稳定，质量参差不齐。第二种是黑客通过入侵手段获得连接，这种连接的质量有些十分不错价格也很好，但是最要命的缺点就是不稳定。链接市场基本上都是以PR和收录做卖点，但是PR和收录都不能代表一个网站的权重高低。有些链接PR4打开看起来好像不错，收录也N多，但是却被降权了，买来也没意思，说的难听点是这样的链接送给我我都不要，管你PR4还是PR6呢。这里我简单介绍下我的一些标准：

　　1、看PR，PR5以上的基本上都是不错的，PR不代表一个网站权重，但是没PR的网站多半是新站。

　　2、看站年龄，越老越好，我是不去查，只是有些人会特意帖子说明问题。年龄老权重确实比较高点。

　　3、判断网站权重，被降权了肯定不要，最简单的是搜索title，搜索title一般不在第一位置的我是不要的，然后细化到搜索某个词，title最靠前的关键词，如果有排名的话权重一般是不错的。

　　4、看导出链接的数量，一看到一大堆******挂在里面，看得就不爽了，首页链接一大堆的除非十分便宜一半还是不要买的好。

　　5、站点性质，gov、edu类的权重确实是比较高的，遇到过一个gov的链接买的价格不高但不是黑链接。

　　购买的注意事项：

　　1、注重性价比，个人认为PR2在5~8元比较合适，PR3在10~15元比较合适，PR4在15~20元比较合适，PR5不是很熟悉……黑链接价格不是很清楚，下次再发个报告给大家!

　　2、黑白混着来，黑链接价格便宜，但是只适合辅助，有些黑链接性价比奇高，只是稳定性差了点。七成白，三成黑，个人认为在搜索引擎算法里面，当你的网站权重达到一定的程度的时候，完全足够抵消部分负面伤害。

　　3、注重信誉，我买了几百元链接暂时没有被人骗，个人第一判断感很重要，有时候也会看到一些可疑的，那就多点心查一下他的批量买的网站域名whois是否有疑点，还有就是看他QQ，有些骗子就爱开新Q，觉得可疑百度搜索一下相关信息吧!

　　4、链接位置和属性，链接位置当然是越靠前越好了，呵呵，还有一些基本上不会遇到的事情，比如被加了nofollow之类的，很少遇到，不过还是注意下比较好的。

　　买链接还可以自己挑，对于自己站少或者认识的人少的来说是一个不错的选择，有时候就算你认识一些人，他们也不会主动给你做免费链接的，很多人都注重等价交换。

　　那么我们怎么衡量一个网站在百度中的权重高低呢?

　　通过我近半年来的观察发现，有以下几点可以衡量网站在百度中的权重。

　　一.百度收录所需的时间

　　发布一篇文章，观察在多长时间能被你的网站收录，当然时间越短对应你的网站在百度中权重越高。

　　二.百度快照更新时间

　　百度对一个网站重要的页面都有快照，网站首页作为网站权重最高的一个页面肯定更被百度重视，那么看你的网站百度快照更新快慢，如果百度快照回档了更说明你的网站讲权。

　　1、 百度新站登陆技巧

　　一般网上都说去比较大型的论坛和百度帖吧发帖时带上新站的链接，网站很快被收录，但是我没有这么做，我有一个站是在头天下午5点多时手工提交的，第2天一site: www.*******.com.cn 就发现被百度收录了，凑巧的是我以前的一个站也是在这个时间段提交的，并且收录的时间也很快。

　　2、 百度文章收录技巧

　　看到很多朋友都因网站文章不被收录而苦脑，但是我却不为这个发愁，因为我当天发布的文章很快就能被百度收录，在这里告诉大家一个技巧，我不知道是不是百度在早上8:00-9:00这个时间段更新自己的数据库，但是我每天早上去公司在这个时间段所更新的文章都能被百度很快收录。

　　3 、Google新站登陆技巧

　　技巧谈不上，因为我没有怎么关心过Google，因为它真的没有给我带来什么IP流量，可能时因为我的PR值低的原因吧，把我的文章全部都放在“补充材料”里去了，所以没有什么流量，但是我同样的时间段提交给Google收录的时间要比百度晚两天，可能是呀在美国的原因吧。

　　4、 Google文章收录技巧

　　Google的更新时间一般在下午的2：00-3：00之间，因为具我观察在这个时间段所发布的文章也能被Google很快的收录，并且Google很爽快，它要不收你就不收你，一旦收录就是上百上千的收录。并且google adsense也是在3：00-4:00这个时间进行更新，主要是因为美国佬们这时该起床上班了。

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"   （注：百度，这部分为本文添加）

203.208.60.43 - - [11/Jan/2009:04:02:43 +0800] "GET /sns/space-13563-do-friend-view-me.html HTTP/1.1" 200 5162 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"   （注：Google）

202.160.178.21 - - [11/Jan/2009:04:02:44 +0800] "GET /sns/space.php?uid=323 HTTP/1.0" 200 7535 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"   （注：雅虎）

65.55.220.217 - - [11/Jan/2009:04:02:57 +0800] "GET /ucenter/avatar.php?uid=12373&size=small&type=virtual HTTP/1.1" 301 - "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)" （注：MSN）

呵呵，没骗你吧，不用怕，江苏徐州seo教你几招应用技巧就可以完全领悟网站日志了。

记住几大搜索机器人的名称：

百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider

在网站日志文件里，用ctrl+f 搜索以上蜘蛛名称，如果有，一般你就认定蜘蛛来抓取了。

接着分析的要点是HTTP状态码，如以上的200和301。

如：" 200 8450 " 代表正常抓取，这次抓取了8450个字节。

不同的服务器或虚拟主机设置的日志记录内容不同。

有的如：200 0 33834 237 953  我们通过多看几条记录，观察规律，可以判断第三个数字代表字节数。

有的如：200 0 0或200 0 64  这是没有记录抓取字节数。注意：200 0 0和200 0 64 没代表什么问题。所谓200 0 64代表要被K的言论没有根据，一般的网站都有64代码。

在日志里，发现比较多的HTTP状态码是，200（正常）、304（没变化）、404（错误链接）。

304代表，自从上次抓取后，该内容没有更新。一般情况下，网站的图片经常会返回该值。

404代表，访问的这个链接是错误链接。这个错误链接，一方面来自原本存在后来删除了网页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。

当我们遇到以下情况该如何分析呢？

1、网站刚上线？

如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常收录。

只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。
 

2、网站收录异常？

收录正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。

如果蜘蛛爬取量明显减少，观察是否外链突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。

3、解决网站被封问题时？

网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。

相关资料：1、Http状态码的概念？

进阶资料：1、如何解决网站被封的问题？

一般情况下，如果网站规模比较大，内容页面的长尾关键词只需通过站内锚文本，就可以实现很好的排名。对于一些竞争性强一些长尾关键词，可以通过在自建博客添加锚文本来增加它们的权重，而且这样方法可以有目的地对更多的相关关键词做锚文本，也就是说只是用来做几个目标关键词的锚文本，显得有些资源浪费。

具体怎么做呢？为此我也为本网站做了一些博客，这是其中一个地址：http://mayu939.blog.163.com/blog/static/188019362009313102544842/edit/

在上面我们可以看到seo和seoer我都链到www.seoer88.com 这里。

下面是注意点：

1、再次强调下一定要在被收录的博客上添加锚文本才有用。

2、博客上的内容要与你网站的内容相关，八竿子打不到一起的内容链到一起是没有多大意义的。

3、尽量不要发和自己网站一样的文章，如果那样有可能会超过自己网站的排名，这真是搬石头砸自己的脚，因此要发就发些不重要的文章最好。

4、一篇文章可以多发些锚文本（注意不是重复的），一二十个都没问题，但如果遇到相同的关键词就不要重复，在第一次出现时加上锚文本就好了。

疑问解释：

1、博客上的文章如果没有人访问，没有人点击，可以吗？

答：没问题，这样只是添加外链，主要让引擎看的。当然如果博客的内容丰富，权重好，则更利于你的网站排名，因为这给我们通常找pr值高的网站做友链相同道理。

2、能否推荐几个收录比较好的博客？

百度空间、和讯博客、csdn技术空间，有一些博客采用Ajax过多，可能导致收录效果不好。（Ajax是什么，类似进入QQ空间时，“请等待，正在加载”的效果）。

相关基础：1、锚文本的概念？

进阶资料：1、锚文本的优化策略？