1、避免预期以外的封禁
常见的预期意外的封禁有：建站模板中的封禁信息，服务器自动封禁策略，网站所在空间服务商封禁IP导致，在网站内容抓取异常时候可以考虑以上因素进行逐一排查。
还有最常见的屏蔽百度蜘蛛抓取的是robots屏蔽，这种情况多是站长失误导致希望抓取的目录被屏蔽了抓取。
2、使用标准重定向
在对网站改版的时候经常会出现页面的重定向跳转，在使用重定向的时候建议使用301跳转，不建议使用JS冲定性。
3、死链反馈
对于网站中出现死链接的时候，要设置百度蜘蛛抓取返回404的状态码以便百度蜘蛛能得到正确的反馈。如果出现的死链接较多的时候可以参考上文中的死链接提交工具。
