网站资讯 news
您现在的位置:首页 > 网站资讯 > robots.txt的写法
NEWS

新闻资讯

robots.txt的写法

发布时间:2017/03/06 网站资讯 浏览次数:833

昆山网站建设

robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。

撰写基本的robots.txt文件的一些语法及其作用。

1、允许所有的搜索引擎访问网站的所有部分(或者建立一个空白的文本文档,命名为robots.txt)。
User-agent:*Disallow:
或者
User-agent:*
Allow:/

2、禁止所有搜索引擎访问网站的所有部分。
User-agent:*
Disallow:/

3、禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/

4、禁止Google索引你的网站。
User-agent:Googlebot
Disallow:/

5、禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/

6、禁止除Google以外的一切搜索引擎索引你的网站。
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/

7、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/

8、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。
User-agent:*
Disallow:/admin/*.php
Allow:/admin/*.asp

9、禁止索引网站中所有的动态页面(这里限制的是有“?”的URL,如:index.php?id=8)。
User-agent:*
Disallow:/*?*

需要注意的是,robots.txt文件必须放置在一个站点的根目录下,而且文件名必须全部小写。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
点击这里给我发消息 技术咨询
回到顶部