当前位置: 首页 » 帮助与支持 » 网站SEM推广 » 正文

[SEO百科]什么是robots.txt 协议

放大字体  缩小字体 发布日期:2015-03-08  来源:云景网  作者:admin  浏览次数:127
核心提示:在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文

  在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。

  Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点:

  1.robots.txt必须存放在网站的根目录下。

  2.其命名必须为robots.txt

  3.Robots.txt是搜索引擎访问网站的第一个页面

  4.Robots.txt中必须指明user-agent

 
 
[ 帮助与支持搜索 ]  [ 加入收藏 ]  [ 告诉好友 ]  [ 打印本文 ]  [ 违规举报 ]  [ 关闭窗口 ]

 

 
推荐图文
推荐帮助与支持
点击排行
>>>>>>