获取搜索引擎spider痕迹

如何分析网站日志中的搜索引擎爬虫轨迹?   首先,加入你要搜索百度的爬虫,那么就直接在保存记录的文本文档上搜索”Baiduspider”,我们节选以下一行来做详细的分析: ...