当前位置:首页>> 网站运营>> robots.txt文件最常用语法

robots.txt文件最常用语法

十三飞刀 2011-1-3 17:0:0 网站运营 次阅读 查看评论

 robots.txt文件朋友们可能都知道他的作用,就是给搜索引擎的蜘蛛看的,通过这个文件告诉蜘蛛们网站中那些文件可以抓取,那些文件不可以抓取。这个应该算robots.txt文件作用的最通俗解释了吧,好下面我们看下robots.txt文件中最常用的几个语法使用。

User-agent: *。这句话的意思就是告诉的搜索引擎的蜘蛛们你们都可以来抓取,当然你如果把*换成某一个搜索引擎蜘蛛的名称,那意思就是User-agent: 下面的限制只对这个搜索引擎的蜘蛛起作用。一个robots.txt文件中可以使用多个User-agent: ,但至少要有一个User-agent: 。

Disallow: /admin/。这句话的意思就是admin这个文件夹下的所有文件蜘蛛们都不要抓取,如果要换成不要抓取某一个指定的文件是这样的写法,如Diassllow:/index.css。

Allow: /blog/。意思是允许蜘蛛访问这个文件夹下的所有文件。这句语法与Disallow:的用法相似,就不用多描述了。在这里需要注意的是同时使用Allow:和Disallow:需要注意他们的顺序,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

sitemap:http://www.mustsem.com/sitemap_index.xml。这句是网站地图的语法,只要把www.mustsem.com换成你的网址就可以了。

这个robots.txt一定要放在网站的根目录下,放在子目录下是不起作用的,大家可以实验一下,欢迎和大家交流!


« 上一篇下一篇 » 十三飞刀原创不易,转载请注明出处! 标签: seo进阶  

评论列表:

说两句吧:

必填

选填

选填

必填,不填不让过哦,嘻嘻。

记住我,下次回复时不用重新输入个人信息

菜鸟学习
博客介绍
最新留言
最近发表
控制面板
站点统计