robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，这个文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。通常网站在开发阶段或者升级都会通过robots.txt来封禁搜索引擎的抓取，这虽然能避免蜘蛛抓取不必要的页面，但也对网站...
75
