有一些网站设计做的对于搜索引擎来说很不友好,就导致了不利于蜘蛛的爬行和抓取,其实这样就构成了一个蜘蛛陷阱。官方说法,“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物,通常是那些显示网页的技术方法,目前很多浏览器在设计的时候考虑过这些因素,所以可能网页界面看起来非常正常,但这些蜘蛛陷阱会对蜘蛛程序造成障碍,如果消除这些蜘蛛陷阱,可以使蜘蛛程序收录更多的网页。SEO工作中,网页被收录是基础工作,但对于搜索引擎来讲,极少情况会100%收录你网站的所有网页,搜索引擎的爬虫程序设计的再精巧,也难以逾越所谓的蜘蛛陷阱。
搜索引擎蜘蛛陷阱有着怎样的危害呢?
搜索引擎蜘蛛陷阱导致了不利于蜘蛛的爬行和抓取,从而导致网站收录情况不佳,最终影响网站关键词排名。
搜索引擎蜘蛛陷阱的主要类别
1、登录要求
有些企业站和个人站的设置一定要注册登录后才能看到相关的文章内容,这种对蜘蛛不是很友好,蜘蛛不会注册、也不会登录。
2、动态URL
什么叫动态URL、什么叫静态URL,简单的说就是带有问号、等号及参数的网址就是动态URL,动态URL不利于搜索引擎蜘蛛的爬行和抓取。
3、强制用Cookies
部分站长为了让用户记住登陆信息,强迫用户使用Cookies如果未开启,则无法进行访问,访问页面显示的也不会正常,这种方式会让蜘蛛无法进行访问。
4、框架结构
首先各位站长你知道什么叫框架结构的世界吗?如果你不知道恭喜你,这个蜘蛛陷阱你已经躲避了,也不要去了解,所以有关框架结构的设计不做任何的介绍。虽然说框架结构对网站的维护和更新有一定的方便性。但是,它不利于搜索引擎蜘蛛抓取。这也就是现在框架结构不流行的因素之一。
5、各种跳转
对搜素引擎来说只对301跳转相对来说比较友好,对其他形式的跳转都是比较敏感,例如:JavaScrit跳转、MetaRefresh跳转、Flash跳转、302跳转。
有些网站的做法很让人无奈,当你打开网页后会自动转向其他页面,就算打开的页面和你要找的页面主体先关也算过得去。但是很大部分的网站转向让你无任何理由和目的这种转向不推荐大家使用,如果你非要做转向,只推荐用301永久跳转,可以将权重进行传递,除了此转向其他都不推荐,因为很多的占用其他转向欺骗用户和搜索引擎,也是heimao的一种手段,所以建议大家不要使用,以免网站被K。
6、Flash
有的网站页面使用Flash视觉效果是很正常的,比如用Flash做的Logo、广告、图表等,这些对搜索引擎抓取和收录是没有问题的,很多网站的首页是一个大的Flash文件,这种就叫蜘蛛陷阱,在蜘蛛抓取时HTML代码中只是一个链接,并没有文字,虽然大的Flash效果看上去很好,外观看着也很漂亮,但可惜搜素引擎看不到,无法读取任何内容所以为了能体现网站优化的最好效果,不提倡这种Flash做首页图片。
7、Javascript链接
因为JS有很多吸引人们眼球的惊人的各种效果,很多站长呢,就用Javascript脚本做一些导航。其实,Javascript同样也是比较严重的蜘蛛陷阱之一。
当然,有的搜索引擎是可以获得Javascript上的链接,甚至可以执行脚本并跟踪链接。但对于一些权重比较低的网站来说,还是大可不必浪费时间,不如多更新一些高质量的文章,多做几个外链。
8、Session ID
如果我们的网站使用Session ID跟踪用户访问,这样就会出现一种现象,搜索引擎每一次访问我们的页面时出现一个不一样的Session ID,即使访问的是同一个页面,它也会出现不一样的ID,但是内容却是一样的,就形成了大量的重复性内容,这也就形成了一个蜘蛛陷阱,也不利于网站的优化。那么我们建议大家使用cookies而不要生成Session ID。