您现在的位置是:SEOOK > 百度优化 > SEO工具SEO工具

SEO优化:网站Robots文件的作用和用法

样样红2018-12-27【SEO工具】人已围观

简介网站robots文件是放在网站根目录下的一个txt文档文件。这个文件的作用就是规定搜索引擎蜘蛛不能抓取我们网站的哪些东西/哪些文件。

网站robots文件是放在网站根目录下的一个txt文档文件。这个文件的作用就是规定搜索引擎蜘蛛不能抓取我们网站的哪些东西/哪些文件。(默认是全部抓取,robots写的规则大部分都是规定蜘蛛不让抓取什么东西)

当搜索引擎蜘蛛来到我们网站的时候,robots文件是蜘蛛第一个访问的文件。
robots

robots文件需要注意:
1. robots文件写入后不会马上生效,生效周期大约1个月左右!

2. robots文件是不支持https站点

3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

4. 可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。

5. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。

robots文件用法:
User-agent: *
(空默认允许抓取)
Disallow: /d/(禁止抓取d目录)

Sitemap: http://www.bat188.com/sitemap.xml(抓取网站地图)

Tags:SEO优化

很赞哦! ()

文章评论

    共有条评论来说两句吧...

    用户名:

    验证码:

SEO价格

优化方案

百度快照点评

SEO咨询

SEO服务

周一至周日 8:00-21:00