微信扫码
527352997
用户中心 意见反馈 我要推广
返回顶部
首页 > SEO问答 > robots.txt怎么设置 常用语句介绍

robots.txt怎么设置 常用语句介绍

更新时间:2019-04-22

  robots.txt怎么设置 常用语句介绍

  很多人不知道robots.txt怎么设置,常用语句有哪些?下面来简单的了解一下。

  一般情况下,为了快速建站,会使用一些网络上的开源程序,而这些开源程序已经了解百度蜘蛛的模式,会默认在根目录下添加robots.txt文件,并且已经屏蔽了某些文件夹。以织梦网站CMS(内容管理系统)里的robots.txt为例:

robots.txt怎么设置 常用语句介绍

  根据织梦网站的CMS里的robots.txt文件可以看到,User-agent:*表示禁止所有的搜索引擎收录本站。Disallow的意思是禁止抓取,/data/表示数据库,/dede/表示织梦默认的后台登录地址,/images/表示图片文件,/include/表示配置文件,/plus/表示附加文件,/special/表示专题目录,/templets/表示模板静态文件,/uploads/表示上传文件。然后的Sitemap是网站地图,是告诉百度蜘蛛这是网站的运行轨迹。

  以上是织梦网站CMS里的robots文件,每个程序都会有对应的robots文件,我们只需要根据不同的开源程序提供的robots文件

  robots在网站中的展现形式

  当SEO工作者需要在网站中展现robots文件的时候,可以根据自己的代码知识,或者通过网站程序员的帮助,进行一些必要的代码添加。而常用的代码则是

  ·META:HTML网站中一个重要的标签,通常可以展现网站的关键词和网站描述等;

  ·NAME="ROBOTS":识别所有搜索引擎;

  ·CONTENT="INDEX,FOLLOW":搜索引擎索引该页,并可以通过网页的链接搜索其他页面。

  希望以上的robots.txt设置和常用语句介绍可以帮助到有需要的人。

上一条:新网站关键词排名如何快速优化上首页
下一条:百度蜘蛛抓取时间频率分析 让网站快速收录