网站资讯 news
您现在的位置:首页 > 网站资讯 > robots.txt的写法
NEWS

新闻资讯

  • 2020寒假结束昆山市开学时间可能会推迟…
    2020/01/29

    苏州关于加强新型冠状病毒感染的肺炎疫情防控工作的通告(第3号) 2020-01-26 21:32 为维护公众生命安全和身体健康,落实江苏...

  • 简单的html代码 加粗 加亮 字型加大 变色的写法
    2020/01/01

    字体加粗:<b>写上你想写的字</b> 字体加大: <big>写上你想写的字</big> 字体控制大小:<h1>...

  • chrome浏览器如何将网页保存为图片
    2019/12/19

    1、ctrl+shift+i打开审查元素窗口 2、ctrl+shift+p,输入full,回车 3、等待3秒钟…

  • 老而不死的三种编程语言
    2019/11/07

    老而不死的三种编程语言 导读: 在软件世界中,铁打的二进制,流水的语言。从计算机诞生至今,不知诞生了多少门编程语言。译...

  • AI人工智能的10种常用算法
    2019/09/25

    ML的常用算法有个常识性的认识,没有代码,没有复杂的理论推导,就是图解一下,知道这些算法是什么,它们是怎么应用的,例子...

  • 网站如何进行安全设置
    2019/08/28

    为了安全起见,建议先做好全站数据和文件的备份,以下教程是AB模板网的总结经验,本人也是这样设置,并且没有任何问题) 1、...

  • What’s your problem?
    2019/07/08

    今天在路上走着走着,突然下暴雨了,我抬头问天:What‘s your problem?  在前两天的百度AI开发者大会上,百度创始人、...

robots.txt的写法

发布时间:2017/03/06 网站资讯 浏览次数:755

昆山网站建设

robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。

撰写基本的robots.txt文件的一些语法及其作用。

1、允许所有的搜索引擎访问网站的所有部分(或者建立一个空白的文本文档,命名为robots.txt)。
User-agent:*Disallow:
或者
User-agent:*
Allow:/

2、禁止所有搜索引擎访问网站的所有部分。
User-agent:*
Disallow:/

3、禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/

4、禁止Google索引你的网站。
User-agent:Googlebot
Disallow:/

5、禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/

6、禁止除Google以外的一切搜索引擎索引你的网站。
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/

7、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/

8、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。
User-agent:*
Disallow:/admin/*.php
Allow:/admin/*.asp

9、禁止索引网站中所有的动态页面(这里限制的是有“?”的URL,如:index.php?id=8)。
User-agent:*
Disallow:/*?*

需要注意的是,robots.txt文件必须放置在一个站点的根目录下,而且文件名必须全部小写。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
点击这里给我发消息 技术咨询
回到顶部