搜索引擎蜘蛛是搜索引擎用来抓取网站页面信息的机器人，在抓取页面时搜索引擎蜘蛛会根据特定的程来抓取互联网中的信息，这些信息被抓取的条件是搜索引擎数据库中没有，或是用户需要的，同时也以此来判断网站的信息内容是否有价值。
搜索引擎蜘蛛只喜欢抓取有价值的内容，而这个价值的一般评价标准就是：这些信息是否受到了用户的欢迎，是否是搜索引擎数据库中没有的，是否对用户有用。网站SEO如果想要让搜索引擎蜘蛛更快更多的抓取网站内容，那么就必须保证内容的质量，并根据搜索引擎的要求来编辑内容。
标准一，网站内容标题与网站主题是否具有相关性
这一点是非常得要的，因为网站的内容主要是为网站的主题服务的，同时用户来到你的网站想要看到的内容也大部分与网站主题相关。如果你的网站内容标题没有与网站的主题相关，那么用户来到网站时将无法找到相要看到的信息，此时用户就会因为找不到自己想要的内容而离开。
这个网站内容标题的相关性对于搜索引擎蜘蛛同样适用，内容标题与网站主题的相关性可以很好的降低网站的跳出率。
标准二，文章标题与文章内容是否原创
原创这个文章属性一直是网站内容编辑人员主要强调的要求，不仅是用户喜欢原创的东西，搜索引擎蜘蛛同样也喜欢拤取原创的东西。所以企业网站SEO在编辑网站内容时应该多注意内容的原创性。在注意原创性的同时还要注意内容的实用性，毕竟没有实际用处的东西是不会被人们喜欢的。
标准三，网站的内部的链接建设
网站内容的链接包括：页面内容的内链、相关推荐、文章结尾处的上一篇和下一篇等，都是网站内链建设的一部分。这些内链可以帮助企业在整个网站中形成一处网状的关系图，当用户或是搜索引擎蜘蛛来到企业网站后，都可以通过一个点而浏览完网站的所有相关页面。
这样对于提升网站内容的浏览量和抓取率都非常的有帮助。
标准四，做好网站内容的转载功能
网站内容的转载功能主要是通过利用用户自发而形成的转载，这样的操作对于企业网站的宣传、形象树立和品牌建设都非常的有说服力。
