robots.txt文件在seo网站中，或许大家平时不怎么留意，但是对于seo网站来说，这是属于比较基础的设置，robots.txt文件要做好，才能够告诉搜索引擎哪些要抓取，哪些不用抓取，提高效率。
robots.txt文件对网站优化有什么作用?
1、增加网站权重和拜访量
2、制止某些文件被查找引擎索引，能够节约服务器带宽和网站拜访速度
3、为查找引擎供给一个简洁明了的索引环境
哪些网站的目录需求运用robots.txt文件制止抓取?
1、网站模板目录
cms的强大和灵敏，也致使了许多同质化的网站模板的呈现和乱用，高度的重复性模板在查找引擎中形成了一种冗余，且模板文件常常与生成文件高度类似，相同易形成相同内容的呈现。对查找引擎很不友爱，严峻的直接被查找引擎打入冷宫，不得翻身，许多cms有具有独立的模板寄存目录，因而，大概进行模板目录的屏蔽。一般模板目录的文件目录是：templets
2、图像目录
图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img
设置好robots.txt文件可以让搜索引擎蜘蛛更加有针对性的对我们的网站进行抓取，网站收录才更加的好做。
