一个站长的robots.txt痛苦经历

发布日期：2017/7/21

摘要： 今天来说一个大家十分熟悉的东西robot文件，相信大家对这个不陌生吧!但是我发现许多站长同伙们忘掉了这个文件的主要性，而且在设置的时候很随意。这种理解是错误的。我自已在一

今天来说一个大家十分熟悉的东西robot文件，相信大家对这个不陌生吧!但是我发现许多站长同伙们忘掉了这个文件的主要性，而且在设置的时候很随意。这种理解是错误的。我自已在一边听课一边自学，今天碰到了这个问题;随后,我就咨询了一位seo的先生，我问他：先生这个robots主要吗?当时，先生语重心长的对我说了一句;robots既可以成就你的网站;也可以毁掉你的网站。所以嘛，照旧很主要的。

言归正传吧!来和大家聊聊robots在我们网站的一些情况;在SEO研究中间有一位和我是比较好的同伙，有一次，他的网站有收录上千，倏忽一个下战书收录为0了。当时他慌了，因为网站收录没有了;流量也没有了，辛辛劳苦的忙了一个多月。到头来却发现;竹篮子打水一场空。当时他心灰意冷;就跑到群里聊天，到处去问;我网站被k了，求解决方法啊!心急如焚，然后，有许多人帮他忙;检查原因，经过一段很长的时间检查，大家发现了原因是他的网站robots屏蔽了百度蜘蛛抓取网站页面。

 

 

为什么会出现这种情况呢?原因在于它在做网站的时候robots是完全屏蔽了百度蜘蛛抓取。大家知道一个事实吧!就是当你写好了规则;屏蔽了百度蜘蛛的时候，可以发现百度照旧会抓取的。道理很简单，百度不可能做到人一样智能化。所以你屏蔽蜘蛛他照旧会来抓取的。但是你也别慌啊!等过段时间百度就会把已经抓到的页面、但是你robots文件中有屏蔽的页面;他会从索引库删除，百度也会有一个发现的过程;到改正和纠错的过程。

当时，我就记得他说了一句话，就是为什么会去屏蔽百度蜘蛛?因为网站刚做;而且他本人也学习了seo，所以也听过seo的先生讲过一些这方面的内容，晓畅自已做一个新站可以暂时屏蔽网站蜘蛛;等网站做好了再提交给搜索引擎，并且把robots文件修下，许可百度抓取;可能是他忘掉了，把这关键一步给忘掉了。导致他辛劳做的网站和外链;被百度删除了收录的页面，那段时间很痛苦;他整个人情绪也是十分低落的。

今天，我通过这个同伙的经历也是希望大家能够去正视robots这个问题?很主要，请不要忽视了;顺带自已谈谈我做的robots的一些经验，我记得网站在新建的时候。我自已也是没有注重robots文件这个东西，觉得无所谓啊!然后昨天听先生讲到了这个问题;我自已开始正视了，然后我开始把一些很垃圾的页面和图片悉数给屏蔽了，页面主要是一些动态页面，大家都知道;百度喜好静态的;假如你网站是动态;会造成搜索引擎多次抓取，给搜索引擎印象又不友爱。虚耗蜘蛛时间和资源。你说他能对你又好吗?还有图片也是一些网上采集的图片;因为百度把一些原创图片给抓取了，假如你网站再用;这会导致百度认为你网站是剽窃的和伪原创的。这会导致百度不收录你的网站。

说了这么多，我个人建议就是希望广大的站长同伙能够去正视这个问题!