当前位置:首页 > SEO资讯 > SEO优化资讯 >

Robots.txt的正确写法和存放位置

发布时间:2021-07-18 15:51 | 浏览次数:次 | 作者:王牌SEO公司小编 | 来源:原创

  Robots.txt的正确写法和存放位置

  1、什么是Robots,纯熟把握Robots的基本语法,写出你对本节课的领略

  Robots是指网站与搜索引擎之间的协议,下列三小点是必要本身记着的:

  1.Robots是存放在网站根目次

  2.Robots.txt是放在网站根目次

  3.robots.txt文件名是不行修改的

  4.Robots也是百度蜘蛛第一先抓取的

  2、robots情势及界说:

  User-agent:Baiduspider(界说全部的百度蜘蛛)

  Disallow:/

  User-agent:界说全部的蜘蛛

  Baiduspider:百度蜘蛛

  Googlebot:谷歌呆板人

  MSNBot:msn呆板

  Baiduspider-image:百度图片

  Disallow:界说那些文件可以抓取,那些文件不行以抓取

  Allow:应承

  小结:网站优化必必要有robots,robots名目区分巨细的,区分巨细写名目为:Disallow首字母必需是大写的,在当地新建记事本编辑时必要留意的是:输入法中文要切换成英文,譬喻:

  同时必要留意的是:在编辑时Disallow:/要空一格如下图所示

  *:界说全部的蜘蛛通配符

  /:通配符拒绝百度蜘蛛会见会见网站根目次的文件,就是所有的意思

  Robots见效时刻是几多,是由百度抉择的,有也许是1个月可能2个月

  附注:放行也是必要见效时刻的

  $:竣事符

  附注:同时也必要留意的是,网站动态的路径也要用robots举办屏障,在这个条件必要做的是,要相识每个文件下的数据是用来做什么用的,代表什么意思,本身下面也知道怎样运用robots举办操纵。对robots照旧不能领略的,可以点击我的博客:

  <divclass="blockcode"><blockquote><ahref="">SEO研究中心之robots的建造和非凡标记寄义</a>

  复制代码

  备注:

  Disallow:/data(一个是文件夹、一个是目次)榨取以data开头的文件或文件夹/data.html/dataaaa.html/data/aaa.html根目次下的文件是不能会见的

  Disallow:/data/(拒绝目次的)榨取文件夹/data/aaa.html能会见/data.html/dataaaa.html

  2、为你在基本操纵的网站加上robots

  User-agent:*(界说全部的蜘蛛)

  Disallow:/plus/ad_js.php(拒绝目次/plus/能会见ad_js.php)

  Disallow:/plus/advancedsearch.php

  Disallow:/plus/car.php

  Disallow:/plus/carbuyaction.php

  Disallow:/plus/shops_buyaction.php

  Disallow:/plus/erraddsave.php

  Disallow:/plus/posttocar.php

  Disallow:/plus/disdls.php

  Disallow:/plus/feedback_js.php

  Disallow:/plus/mytag_js.php

  Disallow:/plus/rss.php

  Disallow:/plus/search.php

  Disallow:/plus/recommend.php

  Disallow:/plus/stow.php

  Disallow:/plus/count.php

  Disallow:/include

  Disallow:/templets

 

本文由王牌SEO公司原创,转载本文请附带本文链接:http://www.jinuoseo.com/wzseonews/3833.html 标明:转自【王牌SEO公司】