robots.txt是一个纯文本文件，当网络蜘蛛来抓取网站的时候，首先就是访问这个网站的robot.txt文件。所以网站管理者都会在robots.txt文件中声明该网站中不想被robots访问的部分，或者只允许指定的搜索引擎收录指定的内容。很明显robot.txt对我们做seo来说是很重要的。

    下面来看看应该怎么写robot.txt?

    1、user-agent和Disallow是robot里面的俩个重要的函数。

    2、robot.txt的编写及范本：

    例如：

    允许所有的robot访问

    User-agent:*

    Disallow:

    或者也可以建一个空文件“/robots.txt”file

    禁止所有搜索引擎访问网站的任何部分

    User-agent:*

    Disallow:/

    禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

    User-agent:*

    Disallow:/01/

    Disallow:/02/

    Disallow:/03/

    禁止某个搜索引擎的访问(下例中的BadBot)

    User-agent:BadBot

    Disallow:/

    只允许某个搜索引擎的访问(下例中的Crawler)

    User-agent:Crawler

    Disallow:

    User-agent:*

    Disallow:/

    3、各大搜索引擎的蜘蛛名称

    百度蜘蛛：baiduspider

    google蜘蛛：googlebot

    yahoo蜘蛛：slurp

    alexa蜘蛛：ia_archiver

    msn蜘蛛：msnbot

    xaltavista蜘蛛：lycos_spider_(t-rex)

    lycos蜘蛛：lycos_spider_(t-rex)

    alltheweb蜘蛛：fast-webcrawler/

    inktomi蜘蛛：slurp

    4、其中的属性说明如下：

    设定为all：文件将被检索，且页面上的链接可以被查询;

    设定为none：文件将不被检索，且页面上的链接不可以被查询;

    设定为index：文件将被检索;

    设定为follow：页面上的链接可以被查询;

    设定为noindex：文件将不被检索，但页面上的链接可以被查询;

    设定为nofollow：文件将不被检索，页面上的链接可以被查询。

    以上就是成都58好网站教我们怎么来写robot.txt，希望能帮到大家!!!

注：成都晨宇网络科技公司自由网络，专业提供网站推广服务，有需要咨询欢迎联系我们在线客服。