【19年品牌建站】找北京网站建设公司就选新鸿儒/提供北京网站建设报价/北京网站制作/北京网站设计/网站开发、北京网站建设公司电话【010-51267718】有优惠哦!
简体
繁体 简体
我们的服务遍布中国

我们的服务遍布中国
乃至世界

新鸿儒所服务的品牌地域与城市
北京 天津 上海 广州 深圳 香港 厦门 江苏 浙江 山东
重庆 长沙 武汉 成都 西安 宁夏 丽江 青海 云南 乌鲁木齐
黑龙江 内蒙古 河北 ...
新鸿儒服务与合作的全球各地
美国 加拿大 德国 法国 英国 瑞士 意大利 荷兰
印度 日本 韩国 ...

不论你的品牌在何处
我们都可以提供完善的服务与帮助

致电

010-5126 7718

北京网站制作公司-Robots协议到底要不要写

发布时间:2017-11-14 浏览:0打印字号:

  Robots是各大搜索引擎公认的隐私网页保护权益,如果你的站点有某些页面不想让搜索引擎抓取到可以选择屏蔽该类URL,搜索引擎就不会将屏蔽的页面进行开放。Robots协议写到禁止不要搜索引擎抓取但是搜索引擎的蜘蛛可能还会抓取,但是不一定会将内容放出来。
  
  博客或者企业站点到底要不要写robots协议呢
  
  对于站点内容页面较少其实可以选择不屏蔽抓取,屏蔽抓取的目的大致分为两个,1.该类数据不能对外公布 2.节省网站自身抓取配额。
  
  如果是出于隐私角度完全可以将内容设置加密,比如用户需要登录后才能看到完整的内容,像这些内容搜索引擎就无法完整的抓取到,通过这个原理只要不想被搜索引擎抓取到可以选择登录后才能看到内容,这样就能轻易的避免搜索引擎的蜘蛛进行抓取。
  
  节省网站的抓取配额,对于小站来说配额是充足的。也不会出现大量的无效页面或者广告以及低俗的内容。
  
  robots.txt写法
  
  如果需要屏蔽一些页面不能让搜索引擎抓取到的内容,还是可以通过robots来解决。但是有个重点需要注意,屏蔽的这些页面URL结构如果完整的写robots里面就非常容易暴露给竞争对手,相信很多的中大型站点是有很多的页面没有在网站首页或者其他页面给予链接入口。但是为了测试或者其他原因选择了暂时屏蔽就会给予竞争对手更多研究的方向。所以在robots里面还存在一个非常大安全隐患,如果将所有不必要的页面都选择屏蔽那为什么还要进行建立,屏蔽写作robots文件里面未必是件好事。
  
  也可以使用另外一种方式进行屏蔽,比如写作meta信息里面;
  
   也可以进行屏蔽。
  
也能有效的进行屏蔽抓取
  
  常见的robots.txt文件协议都是这样的;
  
  User-agent: *
  
  Disallow: /?
  
  Disallow: /pic
  
  sitemap: http://www.xxx.com/sitemap.html
  
  1.告知所有的搜索引擎蜘蛛,这里的*代表的所有的搜索引擎种类
  
  2.但不允许抓取带“?”的URL
  
  3.不允许抓取”/PIC”该文件下的内容
  
  4.这个站点网站地图抓取地址
  
  告诉搜索引擎不愿意被抓取到的页面URL结构填写在robots文件中,允许收录的就可以不写。

重要的事情,电话里聊

接通客服
不方便的时候线上咨询,在线等哦