怎样减少无效URL的爬行和索引无完善解决方案

少年老成的云晨守望同学(题外话：少年老成是好事哈。我20多岁时人家说我像40岁，我40多岁时好多人说我像30多，男人20到50岁可以做到基本一个模样)贴了个帖子：透过京东商城看国内一线B2C网站SEO通病。建议先看那个帖子再回来看本帖，不然不容易明白下面在说甚么。

简单说，帖子指出一个严重而且现实的SEO问题：很多网站，尤其是B2C，产品条件过滤系统(如选择产品的品牌、价格、尺寸、性能、参数等)会产生大量无效URL，之所以称为无效只是从SEO角度看的，这些URL并不能产生SEO作用，反倒有负面作用，所以这些URL不收录为好，缘由包括：

1.大量过滤条件页面内容重复或极其类似(大量复制内容将使网站整体质量下落)

2.大量过滤条件页面没有对应产品，页面无内容(如选择100元以下42寸LED电视之类的)

3.绝大部分过滤条件页面没有排名能力(排名能力比分类页面低很多)却浪费一定权重

4.这些过滤条件页面也不是产品页面收录的必要通道(产品页面应当有其它内链帮助爬行和收录)

5.爬行大量过滤条件页面极大浪费蜘蛛爬行时间，造成有用页面收录机会下落(过滤条件页面组合起来是巨量的)

那末怎样尽可能使这些URL不被爬行和索引、收录呢?头几天的一篇帖子如何隐藏内容也可能成为SEO问题讨论的是类似问题，这类过滤页面就是想隐藏的内容种类之一。不过惋惜，我目前想不出完善的解决方法。云晨守望提出两个方法，我觉得都没法完善解决。

一是将不想收录的URL保持为动态URL，乃至故意越动态越好，以阻挠被爬行和收录。但是，搜索引擎现在都能爬行、收录动态URL，而且技术上愈来愈不是问题。虽然参数多到一定程度确切不利于收录，但4、5个参数通常还可以收录。我们没法确认需要多少参数才能阻挠收录，所以不能当作一个可靠的方法。而且这些URL接收内链，又没有甚么排名能力，还是会浪费一定权重。

第二个方法，robots制止收录。一样，URL接收了内链也就接收了权重，robots文件制止爬行这些URL，所以接收的权重不能传递出去(搜索引擎不爬行就不知道有甚么导出链接)，页面成为权重只进不出的黑洞。

连向这些URL的链接配合nofollow也不完善，和robots制止类似，nofollow在Google的效果是这些URL没有接收权重，权重却也没有被分配到其它链接上，所以权重一样浪费了。百度据称支持nofollow，但权重怎样处理未知。

将这些URL链接放在Flash、JS里也没有用，搜索引擎已可以爬行Flash、JS里的链接，而且估计以后愈来愈善于爬。很多SEO疏忽了的一点是，JS中的链接不但能被爬，也能传递权重，和正常连接一样。

也可以将过滤条件链接做成AJAX情势，用户点击后不会访问一个新的URL，还是在原来URL上，URL后面加了#，不会被当做不同URL。和JS问题一样，搜索引擎正在积极尝试爬行、抓取AJAX里的内容，这个方法也不保险。

还一个方法是在页面head部份加noindex+follow标签，意即本页面不要索引，但跟踪页面上的链接。这样可以解决复制内容问题，也解决了权重黑洞问题(权重是可以随着导出链接传到其它页面的)，不能解决的是浪费蜘蛛爬行时间问题，这些页面还是要被蜘蛛爬行抓取的(然后才能看到页面html里的noindex+follow标签)，对某些网站来讲，过滤页面数量巨大，爬行了这些页面，蜘蛛就没足够时间爬有用页面了。

再一个可以斟酌的方法是隐藏页面(cloaking)，也就是用程序检测访问者，是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接，是用户的话才返回正常的有过滤条件的页面。这是一个比较理想的解决方法，唯一的问题是，可能被当作做弊。搜索引擎常跟SEO讲的判断是不是做弊的最高原则是：如果没有搜索引擎，你会不会这么做?或说，某种方法是不是只是为了搜索引擎而采取?明显，用cloaking隐藏不想被爬行的URL是为搜索引擎做的，不是为用户做的。虽然这种情况下的cloaking目的是美好的，没有歹意的，但风险是存在的，胆大的可试用。

还一个方法是使用canonical标签，最大问题是百度是不是支持未知，而且canonical标签是对搜索引擎的建议，不是指令，也就是说这个标签搜索引擎可能不遵照，等于没用。另外，canonical标签的本意是指定规范化网址，过滤条件页面是不是适用有些存疑，毕竟，这些页面上的内容常常是不同的。

目前比较好的方法之一是iframe+robots制止。将过滤部份代码放进iframe，等于调用其它文件内容，对搜索引擎来讲，这部分内容不属于当前页面，也即隐藏了内容。但不属于当前页面不等于不存在，搜索引擎是可以发现iframe中的内容和链接的，还是可能爬行这些URL，所以加robots制止爬行。iframe中的内容还是会有一些权重流失，但由于iframe里的链接不是从当前页面分流权重，而只是从调用的那个文件分流，所以权重流失是比较少的。除排版、浏览器兼容性之类的头疼问题，iframe方法的一个潜伏问题是被认为做弊的风险。现在搜索引擎一般不认为iframe是做弊，很多广告就是放在iframe中，但隐藏一堆链接和隐藏广告有些奥妙的区分。回到搜索引擎判断做弊的总原则上，很难说这不是专门为搜索引擎做的。记得Matt Cutts说过，Google以后可能改变处理iframe的方式，他们还是希望在同一个页面上看到普通用户能看到的所有内容。

总之，对这个现实、严重的问题，我目前没有自己觉得完善的答案。固然，不能完善解决不是就不能活了，不同网站SEO重点不同，具体问题具体分析，采取上述方法中的一种或几种应当可以解决主要问题。

而最最最大的问题还不是上述这些，而是有时候你想让这些过滤页面被爬行和收录，这才是杯具的开始。以后再讨论。

作者：Zac@SEO每天1贴

版权所有。转载时必须以链接情势注明作者和原始出处及本声明。

原文：seozac/seo-tips/duplicate-urls-content/

贵阳癫痫

新生儿癫痫症状

癫痫并发症