绿巨人电影2无需安装即开即用,封面和进去是不是一部,真实使用感受 高清播放不卡-优酷

那天下午三点多，百度站长平台弹了个邮件，点开是一张截图，红字标着“robots文件禁止抓取”。我第一反应是服务器又抽了——之前帮邢台一家汽修厂做站，服务器是老马在阿里云租的乞丐版，隔三差五502。结果登录后台一查，robots.txt文件压根没被访问到，返回的是404。你说这事邪不邪门？我折腾了三天，从服务器权限排查到CDN缓存，最后发现是当初迁站时文件路径写错了。更坑的是，等我终于把文件放对位置、百度开始抓了，才发现内容本身也有问题。

报错那天下午

老马那家厂叫“顺达汽修”，三十来个人，厂区在邢台城郊，网线都是自己拉的专线。我从新媒体转搜索才半年，之前只管写公众号推文，对robots这玩意儿基本是“听说过没见过”。接到单子时心想：不就一个txt文件吗？网上大把模板，复制粘贴完事。结果百度那边连续三天报错，抓取量为零，收录从87条一路掉到12条。客户每天打电话问，我嘴上说“技术调整”，心里慌得一批。等查清楚问题、修复之后，我又犯了一个更蠢的错误——直接把网上抄来的robots内容丢进去了。

第一版：抄作业式robots

复制来的坑

我用的模板是WordPress常见配置，里面有一条“Disallow: /wp-admin/”，还有“Disallow: /cgi-bin/”。看着挺专业对吧？但我没注意到最下面一行——“Disallow: /”。对，整站禁止抓取。讲白了，我就是那个把“作业”抄错的傻子。这版robots上线后，百度虽然能访问文件了，但爬虫一看指令就扭头走了。整整两周，新发的服务案例一个都没进索引。老马问我为啥他搜“邢台汽修”找不到自己店，我只能扯“百度更新慢”。后来用站长工具一测，发现整个站所有页面都被标记为“禁止抓取”，一共180个页面全被拒了。我这才意识到是robots写的锅，赶紧改。

数据惨状

改之前我统计了一下占比：抓取失败占80%，剩下15%是索引问题，排名影响只占5%。因为压根没抓进来，排名根本谈不上。改了两个月之后，抓取恢复正常了，但新问题又冒出来了——我走另一个极端，把robots改成了“Allow: /”，全放开。结果呢？抓取量是上去了，一周从50条涨到300条，但索引率掉到了12%，因为太多重复页面（像WordPress的分类标签、日期归档）被一起抓进来了。

第二版：全放开的代价

说实话，我当时觉得robots就是“让百度随便逛”才对。直到客户在唐山的分店也上线了，老马说唐山那个店也要推，我这才想到针对不同分站做区分。但一开始我图省事，直接在根目录写了一个统一的robots，结果唐山子站被主站规则覆盖，该抓的没抓到，不该抓的抓了一堆。那段时间我每天看抓取日志，发现唐山分站的页面抓取间隔特别长，平均两天才来一次。后来查资料才知道，百度对子站和主站的爬取策略不一样，robots写法也得跟着变。我尝试把唐山分站单独放一个文件夹，然后写“Allow: /tangshan/”，再在线测试，抓取频率才提上来。这一步花了整整一周，边试边骂自己当初为啥不早点学。

第三版：针对唐山客户的定制

唐山robots的精细化

唐山分店是顺达汽修的新业务，专门做变速箱维修，客户在唐山本地竞争也大。我一开始以为只要把唐山分站的页面全放开就行，结果百度站长平台报“请求过多被限速”。后来我发现，robots里“Crawl-Delay”指令对百度不生效（至少对国内站没用），必须从内容质量和抓取分配上做文章。我的做法是：在根robots里把其他分站（邢台主站、宝鸡分站——对，老马后来又在宝鸡开了一家）的抓取频率降低，把唐山子站的优先级提到最高。具体写法是分别定义User-agent: Baiduspider，然后对邢台主站用“Disallow: /blog/”等，对唐山子站用“Allow: /”。同时确保唐山子站的sitemap单独提交。上线两周后，唐山关键词“变速箱维修 唐山”从第8页跳到了第2页，第13位左右。虽然没进首页，但已经能带来每天3–4个咨询电话了。

你别说，这招也有边界

这个方案有个前提：你得把分站的目录结构规划清楚。如果像老马那样把主站和子站混在同一个域名下不同路径，还能用路径区分；如果分站用了独立子域名，就得为每个子域名单独写robots。我一开始就吃了这个亏，以为根目录的规则能覆盖所有子域名，结果唐山子站（用的是tangshan.shunda.com）根本不吃主站规则，爬虫默认全Allow。最后我不得不在每个子域名根目录放一份robots，工作量翻了三倍。还有，唐山robots定制之后，宝鸡分站的收录周期明显变长了，从一周变成三周。我跟老马说，“先搞定唐山，宝鸡的稍后优化”，老马同意了，毕竟唐山那边订单