robots.txt大家应该都清楚其作用，是SEO中不可缺少的一部分，更是网站与搜索引擎蜘蛛通信的唯一接口。那么如何设置好robots.txt文件，显的至关重要。搜索引擎机器人在访问一个网站的时候，会首先检查该网站根目录下是否有一个robots.txt的文件，它会根据文件里的详细通讯协议进行网站爬行，如果网站没有禁止蜘蛛爬行的路径，则可以设置为空，这是与搜索引擎签订的协议。在3G旅游网中，robots.txt的规则起到了至关重要的作用。

    首先，成都所网站公司从其定义讲到其使用方法，方便光大seoer更加精准的使用rotbots.txt使用。

    一、定义:

    robots.txt是存放在站点根目录下的一个纯文本文件，让搜索蜘蛛读取的txt文件，文件名必须是小写的“robots.txt”。

    二、作用:

    通过robots.txt可以控制搜索引擎收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

    三、语法:

    User-agent:搜索引擎的蜘蛛名

    Disallow:禁止搜的内容

    Allow:允许搜的内容

    四、实例：

    1.User-agent:*//禁止所有搜索引擎搜目录1、目录2、目录3

    Disallow:/目录名1/

    Disallow:/目录名2/

    Disallow:/目录名3/

    2.User-agent:Baiduspider//禁止百度搜索secret目录下的内容

    Disallow:/secret/

    3.User-agent:*//禁止所有搜索引擎搜索cgi目录，但是允许slurp搜索所有

    Disallow:/cgi/

    User-agent:slurp

    Disallow:

    4.User-agent:*//禁止所有搜索引擎搜索haha目录，但是允许搜索58hwz.com目录test目录

    Disallow:/58hwz.com/

    Allow:/58hwz.com/test/

    以上是rotbots.txt使用方法，可能会有人问，我肯定是要让搜索引擎全部抓取的，那rotbots.txt对我而言，岂不是没有作用了吗?其实不然，rotbots.txt的设置，对于SEO来说是有一定原因的。以上就是欧阳科技对rotbots.txt写法的讲解，如有网站业务，请联系我们!

注：成都晨宇网络科技公司自由网络，专业提供网站推广服务，有需要咨询欢迎联系我们在线客服。