Robots.txt文件大大节省服务器宽带第一。 而且对网站没有什么太大的意义，都知道像emailretrievimagstripper这类搜索引擎都耗用大量宽带。而通过Robots.txt就可以制止不必要的爬行工作，如果你网站是图片站的话，没有设置好Robots.txt文件的话，就会浪费大量的服务器宽带。 第二、方便搜索引擎爬起工作 页面很多，兰州歧黄胃肠病研究所如果你网站内容丰富。设置Robots.txt文件更为重要，比方你有个网站，整个站有50多个G打开页面可能会比较慢，如果不配置好Robots.txt文件的话，蜘蛛爬行工作就会很费力，而且如果太多的蜘蛛爬行，以至会影响你网站的正常访问。 第三、robots.txt文件可以制止搜索引擎索引页面 如果你网站后台顺序、管理顺序很重要不想让别人看到那么你可以通过Robots.txt进行设置，兰州歧黄胃肠病研究所你可以通过RobotS.txt文件对你网站非公开页面进行制止蜘蛛爬行。事实上，对于某些在运行中发生临时页面的网站来说，如果没有配置Robots.txt文件的话，搜索引擎甚至会索引那些临时文件。 第四、robots.txt对网站地图链接重要性 那么我每天就不用到各个搜索引擎的站长工具或者相似的站长局部去提交自己的sitemap文件，如果我把自己的网站地图链接放在robots.txt文件里。各大搜索引擎都发布了对网站地图的新的支持方式，就是robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有GooglYahoo而中文搜索引擎公司，显然不在这个圈子内。