网站资讯 news
您现在的位置:首页 > 网站资讯 > robots.txt的写法
NEWS

新闻资讯

  • 百度惊雷算法3.0调整方法
    2021/01/15

    在1月13日的早上,各大SEO站长聚集百度站长群里开始讨论百度惊雷算法3.0即将在中旬发布,也有很多从事SEO的朋友问我,此次该...

  • 企业开发微信公众号有什么好处?
    2020/12/17

    自2013年以来,这是一个二维代码盛行的时代。那些发展到今天的商人有他们自己的二维代码。二维代码的背后是wechat公共平台。...

  • 织梦网站后台增加复制文档功能
    2020/11/05

    打开后台目录(/dede)下archives_do.php约430行下添加: 1 /*----------------------------- 2 //复制文档 3 ----------------...

  • 谷歌浏览器如何长截图
    2020/11/04

    很多人不知道google浏览器如何截图,今天小编就来教大家。 方法/步骤: 1,打开“谷歌浏览器”,右键单击网页空白处,然后点击“...

  • 谷歌浏览器怎么翻译网页?
    2020/07/01

    正常情况下,你的浏览器会自动提示您是否要翻译网页。 但是如果没有自动弹出,我们应该怎么样去打开这个chrome自带的网页翻译...

  • dedecms5.7发布文章提示“标题不能为空”的解决方法
    2020/06/15

    本文实例讲述了dedecms5.7后台发布文章提示“标题不能为空”的解决方法。分享给大家供大家参考。具体分析如下: 有人发现在使用...

  • WordPress 5.4发布:界面更简洁
    2020/04/15

    4月1日 消息:WordPress官方宣布,WordPress 5. 4 正式版于 3 月 31 日正式面向公众发布,这是其2020 年度的第一个主要版本,...

robots.txt的写法

发布时间:2017/03/06 网站资讯 浏览次数:987

昆山网站建设

robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。

撰写基本的robots.txt文件的一些语法及其作用。

1、允许所有的搜索引擎访问网站的所有部分(或者建立一个空白的文本文档,命名为robots.txt)。
User-agent:*Disallow:
或者
User-agent:*
Allow:/

2、禁止所有搜索引擎访问网站的所有部分。
User-agent:*
Disallow:/

3、禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/

4、禁止Google索引你的网站。
User-agent:Googlebot
Disallow:/

5、禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/

6、禁止除Google以外的一切搜索引擎索引你的网站。
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/

7、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。
User-agent:*
Disallow:/admin/
Allow:/images/

8、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。
User-agent:*
Disallow:/admin/*.php
Allow:/admin/*.asp

9、禁止索引网站中所有的动态页面(这里限制的是有“?”的URL,如:index.php?id=8)。
User-agent:*
Disallow:/*?*

需要注意的是,robots.txt文件必须放置在一个站点的根目录下,而且文件名必须全部小写。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
点击这里给我发消息 技术咨询
回到顶部