可以在线看的视频网站在线怎么看,搜索弹窗别跟着点,新手先看 高清播放-央视频

那天晚上十一点多，我还在办公室跟一个宜春的职业培训网站的日志较劲。客户那边的技术负责人姓陈，打电话过来语气已经有点急——"我们花了两个月做的新站，百度就是不放量，你说奇不奇怪？"我这边屏幕开了四个窗口，一个看百度站长平台的抓取异常，一个看服务器access log，还有一个Google Search Console的废弃面板，外加一个Sublime Text打开的robots.txt。那个文件只有十七行，我愣是翻了半个钟头，才明白问题出在哪。

踩得最深的坑：robots把好内容挡在门外

这家机构叫"宜春金桥职业培训"，主营电工、叉车、焊工考证。网站大概有两千多页，大部分是考试题库和模拟题。按理说这种内容百度很喜欢抓才对，但后台数据显示从三月到五月，抓取量一直在掉，从日均四千多次跌到不到一千五。我一开始以为是外链的问题，拉着他们商务在邢台那边换了一批友情链接，白折腾了三天，数据纹丝不动。

后来查robots.txt才发现，上一任SEO（大概是个半吊子）把整个/wp-content/uploads目录Disallow了。你说搞不搞笑，题库页面里引用的图片、PDF全部放在uploads下面，百度蜘蛛一来，看到robots说"这里不能进"，整页都不给索引了。更坑的是，他们做了个"考试预约"的落地页，因为用了某个插件生成的URL参数，也在robots里被通配符拦截了——就是一条Disallow: /*?*，那东西直接把所有带问号的页面都关在门外。这事我后来自查了全国十来家同行网站，大概六成都在robots里犯了这种一刀切的毛病。甚至福州那边一家做会计培训的，直接复制了别人网站根目录的robots文件过来，连自己后台路径都对不上，说出去都没人信。

那次判断错了的教训

你得承认，从新媒体转过来的人，包括我自己，对搜索引擎的信任是打折的。我以前做公众号，讲究的是"我推什么用户就看什么"，流量分配权在我手里。但搜索不是，搜索是把你的内容给机器审一遍，审不过连入场券都没有。我花了整整三天在排查外部因素，结果问题就藏在网站最根层的文件里。这事儿教会我一条死规矩：无论什么情况，接手任何一个站，第一件事就是打开robots.txt，一条一条看，别信前任跟我说"没动过"。

排第二的坑：sitemap跟robots各说各话

这个坑我是在梅州一个连锁美容培训的网站上发现的。他们的sitemap.xml里列了三千多条URL，但robots里Disallow了其中大概一千八百条路径。你说蜘蛛怎么想？你一边说"来抓我"，一边说"别来这儿"，那引擎大概率选择两边都不信，结果那一千八百条彻底成了死链接，甚至影响了正常页面的抓取配额。

我在宜春金桥的案例上也遇到了类似问题。他们的robots文件允许了某些目录，但sitemap里漏掉了关键的"题库详情页"——就是那种关键词密度最高的页面。等我帮他们重新核对完之后，把sitemap里的URL数量和robots允许的范围打通，让两者严格保持一致，两周后百度抓取量从日均一千五回升到接近四千，长尾词"宜春叉车证在哪里考"从没排名进了百度第二页。这事说起来简单，但做起来特别繁琐：你得拿脚本爬一遍sitemap，然后跟robots里的Allow/Disallow规则逐条比对，我丢了两整个下午在这件事上。

排第三的坑：对"宜春"本地词的忽略

做职业培训这个行业，地域词是命根。但很多人写robots的时候压根不考虑这个——你Disallow掉某些分类页，可能连"宜春电工培训多少钱"这种搜索词对应的页面也被误杀了。我后来在贵港一个做电焊培训的客户那里更离谱，对方把/category/整个目录禁了，而他们几乎所有带"贵港"关键词的聚合页都放在这个分类下，等于自断流量。

我的做法是，先拉一个关键词列表，按"地域+职业+需求"拆分，比如"宜春 叉车""宜春 焊工证""宜春 电工考试"。然后对照网站目录结构，看哪些页面承载了这些词。如果这些页面因为robots规则被屏蔽了，机器就不会来抓，自然没排名。（讲白了，你连让机器看到的机会都不给，它怎么给你排？）宜春金桥就是这么处理的： /exam/ 目录下全是题库页，robots里本来没Allow，我补了一句Allow: /exam/$，三十天后，光这个目录就多了两千多的索引量。

排第四但最诡异的坑：robots.txt改变了页面加载行为

这个事我提前声明，不一定适用于所有情况，但我自己碰到过一次。宁波有个做职业技能培训的机构，网站是用某个国内建站系统做的，robots文件里加了一行Disallow: /data/，结果导致百度蜘蛛每次抓首页的时候都卡在加载/data/下的一个统计JS文件上（因为robots不允许蜘蛛去取，但前端HTML里又引用了），直接让蜘蛛认为页面加载超时。从3.2秒的加载时间飙到蜘蛛感知的几十秒，你可以说百度不执行JS，但新版蜘蛛会尝试，一旦卡住就放弃抓取。

当时查这个问题查了五天，服务器响应头、数据库查询、CDN节点全排查了一遍，最后是我手动用curl模拟百度蜘蛛的User-Agent抓了一遍首页，才发现报错日志里全是/timeout/。改了robots，把那行去掉之后，两周内首页快照重新更新了，收录量慢慢回升。这个坑特别隐蔽，我后来在那篇总结文章里写"robots不仅能控制抓取，还能间接影响加载性能"，底下有人评论说我危言耸听，但我想说，你遇到一次就知道它有多真实。

最后一个坑：版本管理？不存在的

很多小公司管网站的方式是——商务签单，让行政找个亲戚更新内容，然后SEO的权限跟大家的FTP账号叠在一起，谁都能改。宜春金桥的robots文件有七个版本的历史，第四个版本把 User-agent: * 写成了 User-agent*（漏了个冒号），直接导致整个规则无效——等于没设robots。这种情况持续了大概三周，期间百度把一些后台管理页面也抓了，结果对方发现后台URL被索引，着急忙慌又去加Disallow，补上之后又忘了放Allow。整个一个恶性循环。

我的解决方案特别土：在服务器上给robots.txt做了只读权限，所有人要改必须通过我或者技术负责人，每一次修改都在Git里留记录，注释里写明改了什么、为什么。我建议所有同行都这么做，别嫌麻烦。一个5万页的站点，因为一条robots规则写错，索引量能从3.8亿抹到7000万（这是真实发生在前几年某大站身上的事），你一个小培训网站根本扛不住。

差不多了，能踩的坑就这些。我转做搜索三年多最有感触的一句话是：在新媒体时代，错发一条内容顶多掉几个粉；在搜索时代，写错一行robots，等于自己拆了自家大门。至于什么"Disallow后要记得Allow"这种基础操作，我就不细说了——反正踩过坑的同行都懂，没踩过的，迟早也要补这一课。