东晟SEO优化顾问:SEOOK > 百度优化 > SEO工具SEO工具

robots文件用法

baidubaba2019-05-07【SEO工具】人咨询服务

精选摘要一般来说可以使用 robots. txt文件来屏蔽不想被搜索引擎抓取的页面

  robots. txt的具体用途:

  一般来说可以使用 robots. txt文件来屏蔽不想被搜索引擎抓取的页面,但是这些“不想被抓取的页面”一般都会有哪些呢?下面来举几个简单的例子。

  (1)多版本URL情况下,非主显URL的其他版本。比如网站链接伪静态后就不希望搜索引擎抓取动态版本了,这时就可以使用 robots. txt屏蔽掉站内所有动态链接。

  (2)如果网站内有大量的交叉组合查询所生成的页面,肯定有大量页面是没有内容的,对于没有内容的页面可以单独设置一个URL特征,然后使用robots.txt进行屏蔽,以防被搜索引擎认为网站制造垃圾页面

  (3)如果网站改版或因为某种原因突然删除了大量页面,众所周知,网站突然出现大量死链接对网站在搜索引擎上的表现是不利的。虽然现在可以直接向百度提交死链接,但是还不如直接屏蔽百度对死链接的抓取,这样理论上百度就不会突然发现网站多了太多死链接,或者两者同时进行。当然站长自己最好把站内的死链接清理干净。

推荐:《SEO优化:网站Robots文件的作用和用法

  Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

  robots文件

  使用方法:

  Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。

  例如:如果您的网站地址是 http://www.yourdomain.com/那么,该文件必须能够通过 http://www.yourdomain.com/robots.txt 打开并看到里面的内容。

  格式:

  User-agent:

  用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的*屏蔽的关键字*,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"这样的记录只能有一条。

  Disallow:

  用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被Robot访问到。

  举例:

  例一:"Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。

  例二:"Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。

  例三:Disallow记录为空说明该网站的所有页面都允许被搜索引擎抓取,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎蜘蛛,该网站都是开放的可以被抓取的。

  #:Robots.txt 协议中的注释符。

  综合例子 :

  例一:通过"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目录,以及 "/tmp/"目录和 /foo.html 文件,设置方法如下:

  User-agent: *

  Disallow: /bin/cgi/

  Disallow: /tmp/

  Disallow: /foo.html

  例二:通过"/robots.txt"只允许某个搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允许名为"slurp"的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取 "/cgi/" 目录下的内容,设置方法如下:

  User-agent: *

  Disallow: /cgi/

  User-agent: slurp

  Disallow:

  例三:禁止任何搜索引擎抓取我的网站,设置方法如下:

  User-agent: *

  Disallow: /

东晟百度快照

全网首页排名:百度、360、搜狗、谷歌等搜索引擎(PC端+手机端)首页网站快照排名,精准流量导入。

点击不扣费,24小时展示,跨平台跨区域常年展示。

告别传统推广高昂费用,不用天天更新内容,排名稳定持久。

杭州东晟科技有限公司2020年新优化推广技术更快更准更稳


Tags:SEO工具

    东晟百度优化顾问:SEOOK > 百度优化 > SEO工具SEO工具

    网站SEO优化

    SEO优化操作流程

    网站定位

    明确网站定位、用户定位,根据产品属性结合用户搜索习惯进行关键词研究和建立。

    站内优化

    1.网站结构及HTML代码优化、标题、描述、关键词定义;

    2.图片ALT优化、快照缩略图优化、HSTRONGFONTPDIVLI标签优化

    3.链接A标签设置、URL优化、死链、空链、#号链等处理

    4.文本匹配与关键字设置、导航优化、目录优化、详情页优化

    站外优化

    1.百度收录主动请求代码、网站Sitemap.xml索引设置

    2.高质量外链和友情链接建设、URL引导收录提交

    3.搜索体验及缩略图优化、网页快照优化、权重评级提升

    文章发布技巧

    1.标题醒目、准确传递文章思想,标题具备高度的总结性和概括性

    2.关键字设置从文章标题里提炼,必修按词组提炼有指数的关键词

    3.文章摘匹配关键字并统揽全局,摘要必须准确表达文章的观点

    4.文章配图必须121x75的倍数,文章发布后必做URL收录提交

    SEO策略与技巧

    1.确保链接被收录形成快照,确保网页快照参与权重评级

    2.标题用部分匹配原则,描述用完整匹配原则

    3.排名靠前的内链引导靠后的,提高搜索展现率和有效点击

    4.内容用完整匹配、关键字加粗,内链锚文本与导出链接相关

    5.链接层级扁平化、目录简短,合理使用网站导航和分类

    6.重要链接放到第一屏,文案内容匹配长尾词而非主词

    快速排名

    1.单个键词是否进入搜索首页或前三

    2.关键字必须在搜索引擎结果有排名

    3.网站不需要过多调整、局部优化

    4.排名速度快、一般2周左右

    5.按约定验收客户指定的关键词

    整站优化

    1.整个网站从搜索引擎过来的流量

    2.只要网站收录大于100条即可

    3.网站每级都要做站内调整优化

    4.整站优化初期相对较慢

    5.根据主词持续扩展长尾词

    SEO问题(FAQS)

    网站TDK怎么定义?

    好的网站不仅要满足用户需求,还要符合搜索引擎规则、满足搜索蜘蛛快照抓取、赋予快照评级和提升关键词排名。网站标题、描述和关键词需要围绕服务本身定义,明确网站定位、用户定位,根据产品属性结合用户搜索习惯进行关键词分析和建立。

    怎么快速收录网站或文章?

    无论网站还是文章,快速被百度收录是做好SEO优化的基础,目前比较实用的网页收录方式有:内链外链引导、友链引导、百度收录URL提交、百度代码推送。

    如何发布搜索引擎愿意收录的文章?

    文章是为网站服务的,一篇好文章不仅能够吸引读者,还可以为网站增加长尾词。只有被搜索引擎收录的文章才有机会参与搜索引擎排序。原创文章常见写作技巧一般采用总分总形式,不仅要提炼文章思想、总结概要,还要阐述作者的观点。围绕关键词扩充内容,让内容具备可读性和引导性。文章标题控制20个字以内,概要控制在80字内。文章字数控制在400字以上,要看文章内容是否切题,文章内容必须突出主次,条理清楚,段落层次的安排是否恰当等。文章思想是否明确,内容是否紧扣文章思想,对于有关联的内容,客通过关键词锚文本链接增加权重传递。优化文章的段落顺序、引用有关联的精美图片(一般用121x75的倍数)合理使用图片ALT属性。

    站内优化包含什么内容?

    站内优化主要包含网站代码优化和网站内容调整,如下:

    1.网站结构及HTML代码优化、标题、描述、关键词定义;

    2.图片ALT优化、快照缩略图优化、HSTRONGFONTPDIVLI标签优化

    3.链接A标签设置、URL优化、死链、空链、#号链等处理

    4.文本匹配与关键字设置、导航优化、目录优化、详情页优化。

    站外SEO优化是快速排名的条件

    站外seo优化是指网站外部优化技术,充分曝光网站URL链接、锚文本及品牌信息为目标的SEO优化方案。曝光网站URL是为了增加搜索引擎蜘蛛抓取该网站的机会,锚文本是为了增强网站的相关性,品牌信息更多出现公共媒体,更有利于提升搜索引擎快照评级。

    网站权重提升技巧和方法

    首先要认清网站SEO现状,有排名的关键词占多少,百度首页或前三的词占多少。还要明白展示类型网站和交互网站优化策略的不同。展示网站如何提升百度权重?交互网站又如何提升网站权重?

    如何维护关键词排名?

    网站优化师一个系统化工程,而且影响排名因素很多。将关键词排名优化上首页已经很难了,若不能将排名持续保持下去,进入前三的几率会更小,所以我们必须要维护好现有排名,才有机会获取更多的搜索流量。

    1.熟悉关键词每天的排名状况;

    2.熟悉关键词快照更新时间;

    3.合理使用已有排名快照的锚文本链接;

    4.更替友情链接,将换权威性小的友情链接替换为权威性高的网站;

    5.提高关键词快照的访问频率、停留时间及用户粘性;

    6.关键词有效匹配相关性内容;

    7.充分优化关键词的长尾效应;

    8.制定一套适合自己的SEO维护流程;

东晟网站SEO优化顾问

网站SEO:SEO优化|百度快照优化排名

网站建设:模板网站|网站定制开发

网站托管、推广外包、SEM托管

手机:15068182024

Email:466360772@qq.com



坐标:浙江省-杭州市

SEO私教:培训|辅导|教程|顾问

全网优化:

百度优化

|360|Google|搜狗|头条|淘宝

手机网站建设优化:手机网站设计|手机网站排名|手机网站优化|移动网站SEO

SEO价格

优化方案

百度快照点评

SEO咨询

SEO服务

周一至周日 8:00-21:00