Rbots.txt 是什么?对网站优化的重要性

　　简单的说就是否允许搜索引擎(所有的)访问你的网站，并且访问网站的哪些目录，哪些文件。对网站优化的作用就是让搜索引擎按照你的方式来访问你网站的内容

　　Disallow:

　　robots文件里的这2个代码是叫百度来的?还是不叫百度来的?

       User-agent: * 允许抓取网站内容的对象是所有的搜索引擎

　　Disallow: 因为后面为空，所以允许抓取所有的内容

　　因为【User-agent: * 】中使用的是“*”，“*”表示的就所有的，当然也包含百度在内了，没有指出不让百度来啊，百度当然要来了，robots文件的书写百度官方和谷歌官方有详细的解释和教程：

　　http://www.google.com/support/webmasters/bin/answer.py?answer=156449&hl=cn

　　http://www.baidu.com/search/robots.html

     自己去看。