当前位置:主页 > SEO基础知识 > 正文

小旭SEO分享:网站上线robots文件怎么设置

来源:www.jinuoseo.com07-07 SEO基础知识 作者:小旭SEO
[导读]:很多SEOer不知道怎样使用robots,甚至不理解robots文件到底是为什么,许多网站就是没有设置好robots文件导致了排名不理想,甚至无排名,因而这个文件对网站优化是十分重要的,万万不容

  很多SEOer不知道怎样使用robots,甚至不理解robots文件到底是为什么,许多网站就是没有设置好robots文件导致了排名不理想,甚至无排名,因而这个文件对网站优化是十分重要的,万万不容大意,其中很多人却不理解这个里面的道理下面小旭SEO带大家了解一下robots文件。

网站上线robots文件怎么设置

  robots文件是什么

  robots文件是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索引擎蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

  robots文件设置

  一、robots文件是用来干什么的

  其实这个文件是一种协议,一切的查找引擎蜘蛛进入网站的时分第一个拜访的就是这个文件,详细的效果就是用来咱们站长自在设置哪些文件能够抓取,哪些不能抓取。

  二、robots文件设置的格式

  User-agent: *

  Disallow:/*?

  Disallow:/dede

  上面的robots文件设置方法就是允许所有搜索引擎蜘蛛爬取,禁止动态url地址的抓取,和禁止抓取dede文件下的内容。

  三、robots文件设置讲解

  User-agent: 该项的值用于描述搜索引擎robot的名字;User-agent: * 或者 User-agent:Googlebot

  Crawl-delay:几大抓取工具支持Crawl-delay参数,设置为多少秒,以等待同服务器之间连续请求;Crawl-delay:10

  Disallow:该项的值用于描述不希望被访问到的一个URL;Disallow:/ 或者 Disallow: /cgi-bin/

  Allow: 该项的值用于描述希望被访问的一组URL;Allow:/*?$

  四、为什么说robots文件对SEO十分重要

  1.网站优化切忌的就是重复或许类似的页面,而查找引擎阅读一个网站不是像人那样的,靠的还是蜘蛛的抓取。可是不少人没有重视的是,现在的干流网站程序都很容易主动发生一些没用的页面,比方缓存页面,查找页面,feed页面等等,这些页面内容往往和主体内容相重复,并且没有什么用,假如不小心被蜘蛛抓到,那么对网站排名会有十分严峻的负面影响,许多网站之所以没有排名,就是由于查找引擎发现了网站存在很多的重复或许类似的页面。

  2.查找引擎喜爱原创文章内容,这是众所周知的工作,而这一方面并不是单单是指网站文章的原创度,另一方面网站模板的原创度也是十分重要的评分点,所以假如自己网站的模板不是原创,尽量要屏蔽css目录和模板目录。

  3.使用robots文件能够用来屏蔽一些没有用的页面,比方隐私页面,后台登陆页面,图片目录等内容,或许屏蔽其他的一些网站关键词无关的页面。

  4.能够大大的增强蜘蛛网站的爬取功率,与网站的内链有殊途同归之用,协助查找引擎理解哪些才是网站重要的内容,不再糟蹋到其它的那些无用的页面上。

  总结:robots文件是网站十分重要的一个优化部分,这个方面往往制约着网站的胜败,这当然是网站优化十分细节的一个方面,不过往往细节决定胜败,许多人却没有意识到这一点,期望通过小旭SEO上述4点robost的介绍,我们都会理解这方面的重要性。

版权保护: 本文由:小旭SEO原创 ,转载请保留链接: http://www.jinuoseo.com/seojczs/101.html

[标题]:小旭SEO分享:网站上线robots文件怎么设置