百度蜘蛛爬行的次数cataccesslog|grepBaiduspider|wc最左面的数值显示的就是爬行次数。
2百度蜘蛛的详细记录CtrlC可以终止cataccesslog|grepBaiduspider也可以用下面的命令：cataccesslog|grepBaiduspider|tailncataccesslog|grepBaiduspider|headn只看最后条或最前条，这用就能知道这个日志文件的开始记录的时间和日期。
3百度蜘蛛抓取首页的详细记录cataccesslog|grepBaiduspider|grep“GETHTTP”
4百度蜘蛛派性记录时间点分布cataccesslog|grep“Baiduspider”|awk‘{print4}’
5百度蜘蛛爬行页面按次数降序列表cataccesslog|grep“Baiduspider”|awk‘{print7}’|sort|uniqc|sortr
原文地址：Linux下通过Apache日志监测百度蜘蛛的爬行记录, 感谢原作者分享。 当你能飞的时候就不要放弃飞
