61阅读

遵守协议，不抓取被禁止的网址。　　和浏览器一样，搜索引擎蜘蛛也有标明自己身份的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辨识搜索引擎蜘 蛛...

有百度站长平台工作人员的回答截图： 　　 　　近期因站长平台加入了页面优化建议功能，没有进行过GZIP压缩的站点都会提示使用...

是访问哪一个文件；cs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；s-port 访问的端口cs...

容采集工作。 　　URL，一个网站的URL如果很复杂，经过几次302或301跳转后才能到达目的页面。这样的URL，如果你要用CMS写采集规则，是不是增加了采集规...