首先我们需要了解一下我们站点的日志格式，如下图所示
从上图的日志文件中我们可以看出蜘蛛对我们站点的爬行情况。其中包含蜘蛛的爬行频率、爬行来去向等等，借助这些数据我们可以制定更为有效的seo策略。那么我们如何更加便捷的分析这些数据，下面笔者就简单的介绍一个小方法，具体步骤如下。
首先：我们可以选取一阶段的日志文件，然后进行分析，具体我们可以借助一个小工具。如下图所示，这一个工具可以帮我们分析我们的工具，挖取有用的数据信息。
接着，我们需要点击“下一步”，选择agent，同时我们在自定义值的框框内输入“baiduspider”(这是百度蜘蛛的意思，如果你要分析别的搜索引擎，如搜搜，可输入sosospider)，接着点击下一步，最后保存文件，之后工具会更加我们的设定，自动的挖掘出我们想要的信息。
然后打开生成的日志文件，复制如下图选中的区域，将该区域信息黏贴到excel表格中的a列。接着打开excel菜单，做如下的操作：“数据”>“分列”>“分隔符号”>“空格”>“完成”，接着就可以生成我们想要的格式，如下图所示。
在上面的三个步骤后，我们已经生成了excel表格形式的日志分析表，接着我们就要通过excel来分析日志了。我们需要借助excel中的“数据透视表”功能进行分析，笔者使用的是excel2003版本的，操作如下图所示，如果你是使用2007或者跟高的版本，也可以在菜单栏中的数据选项中找到相关的选项。
我们点击“数据透视表”后就会进入如下图所示的页面。
我们接着将字段列表中的“date”拉入左侧的“行字段”，接着将“cs-metbod”拉入中央的数据字段。接着我们就能看到一个清晰明了的从六月10号至17号的搜索引擎蜘蛛每日的爬行记录表格。我们就可以分析蜘蛛爬行频繁的那些条你有做什么优化工作，就可以找到更加符合自己的优化策略。
我们不仅可以分析搜索引擎蜘蛛的访问频率，也可以了解搜索引擎对你的页面的爬行情况，原理很简单，我们只要将行字段中的“data”更换为记录访问页面的字段“cs-uri-stem”即可。
希望笔者分享的这一个小方法对于大家有所帮助。最后笔者想总结一句话，那就是工具是死的，但是人是活的。如果你懂得变通的话将会使你的优化事半功倍的。
本文由塑料瓶生产厂家(/)站长发表，欢迎大家转载，转载时请保留此链接，谢谢合作!