1.网站布局一般是采用扁平化的树形结构,及将重要的文章和栏目布局到首页,然后通过首页点击栏目进入到列表页,在点击列表页中的标题进入最终页面,这样就给蜘蛛描述了一条相当于从树干到树枝在到树叶的抓取模式,这种方式有助于蜘蛛爬取到,另外根据网站的...