有很多大型网站不重视网站地图的建设,不少大型网站的网站地图只是敷衍了事,做一个摆设。其实网站对于大型网站是很重要的,大型网站海量的数据、复杂的网站导航结构、极快的更新频率使得搜索引擎并不能完全抓取所有的网页。这就是为什么有的大型网站拥有百万千万甚至上亿级的数据量,但是却只被搜索引擎收录了网站数据量的一半、三分之一甚至更少的一个重要原因。
大型网站站点地图
网站地图sitemap.xml地图和Html地图分为两种,第一种sitemap.xml网站地图是为了搜索引擎而建立的,第二种可视化Html网站地图是为了指引用户而建立的。站点地图不仅仅是给搜索引擎来看的,根本目的也是方便浏览者,所以网站地图最好兼顾搜索引擎的同时也要兼顾浏览者。
普通html格式的网站地图
1、为搜索引擎建立一个良好的导航结构。
2、Html地图中可以分为横向和纵向导航,横向导航主要是频道、栏目、专题等链接,纵向导航主要是针对关键词。
3、每个页面都有指向网站地图的链接。
它的目的是帮助用户对站点的整体有个把握。Html格式的网站地图根据网站结构特征制定,尽量把网站的功能结构和服务内容富有条理地列出来。一般来说,网站首页有一个链接指向该格式的网站地图。
sitemap.xml网站地图
主要针对Google、yahoo、live等搜索引擎。因为大型网站数据量太大,单个的sitemap会导致sitemap.xml文件太大,超过搜索引擎的容忍度。所以我们要将sitemap.xml拆分为数个,每个拆分后的sitemap.xml则保持在搜索引擎建议的范围内。
把sitemap写进robots.txt里,在引擎爬虫进来抓取网页的时候,会首先查看robots.txt,如果首先把sitemap写进robots.txt里那么在效率上会大大提高,从而获得搜索引擎的好感。
大型网站地图的作用不仅仅是针对搜索引擎的,也是对用户起到一个引导的作用,针对用户的HTML地图,不仅需要美观大方,还能让用户能及时的找到自己想要的内容,不会迷路,这也是用户体验度的一个衡量维度。
注意事项
站点地图的主要目的是方便搜索抓取的,如果地图存在死链或坏链,会影响网站在搜索引擎中网站权重的,所以要仔细检查有无错误的链接地址,提交前通过站长工具,检查网站的链接是否有效。