您好！欢迎登陆845建站营销推广平台！
网上robots的写法，说法一大堆，也不知谁对谁错，到底robots该禁止那些文件呢？
今天大概总结一下： 首先说明一点：每天百度派出的蜘蛛是有限的，robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录！
针对企业站来说，本身蜘蛛资源不会很多
，所以我们更要珍惜蜘蛛的每次爬取，让其都有意义，不要去爬取一些无价值的页面，浪费了蜘蛛资源，从而导致网站迟迟未收录，没排名等情况！ 下面举例列出来： 1、模板文件(/template/)可以屏蔽； 2、这个文件/uploads/一般放的是图片，可以屏蔽； 3、/data/系统数据文件，可以屏蔽； 4、/img/或/images/，如果你不是做的图片站，也可以屏蔽； 5、/bin/系统文件可以屏蔽； 6、/install/安装文件可以屏蔽； 7、/member/有会员的可以屏蔽； 8、/logreport/有统计报告的可以屏蔽； 9、/bjk/有加密的文件，可以屏蔽； 10、/js/，/css/可以屏蔽，留着是为了让蜘蛛更好地了解网站结构，资源少的情况下，可以屏蔽。 11、网站地图，sitemap要记得放进去，不要屏蔽，让蜘蛛第一时间去看你的网站地图，更快了解网站链接结构！ 总结到此，希望对大家有些帮助！
文章来源：懒猫seo博客
来源地址：http://www.lanmaoseo.com/seowzyh/6978.html
本站资讯·版权声明
本网站所收集的部分公开资料来源于互联网，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。
本网站所提供的信息，只供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。本网站及其雇员一概毋须以任何方式就任何信息传递或传送的失误、不准确或错误，对用户或任何其他人士负任何直接或间接责任。在法律允许的范围内，本网站在此声明，不承担用户或任何人士就使用或未能使用本网站所提供的信息或任何链接所引致的任何直接、间接、附带、从属、特殊、惩罚性或惩戒性的损害赔偿。
加微信咨询聊天
