站点log日志实际上就是百度蜘蛛抓取的记录

站点log日志有什么用？

站点log日志实际上就是百度蜘蛛抓取的记录，百度蜘蛛每次来，且都抓到了什么，哪一种蜘蛛才能进行抓取，站点log日志将会很清晰的记住，我们可以对日志进行分析，百度蜘蛛今天都抓到了我们的几个网页，有哪些网页没抓到过，等等，这样就能对我们的网站进行优化，使其更符合网站SEO优化。

您可以从何处获得log日志！

在哪儿能得到log日志那？若为linux+宝塔面板的主机环境，我们登录到宝塔linux面板后，点击左边的“文件”，在www下的wwwlogs目录中可以看到网站访问日志。若为虚拟空间，您可以到LOG目录中寻找，或询问您的空间商。

站点log日志可以分析什么数据！

1.查看目录抓取的概况。

从目录抓取，可以清楚地看到访问站点的蜘蛛爬过哪些目录。注意：有些目录是没有价值的，如一些图标目录.下载目录.留言目录等，还有后台目录.数据库，若被蜘蛛爬动，也有安全隐患。另一面，搜索引擎对不同网站有抓取配额，无用目录，更不能占用这样的配额，以免有效配额抓取量。

2.查看网页抓取概况。

抓页可准确地查看到蜘蛛爬虫的每个页面，这也是对LOG日志分析中十分重要的一环。例如：多个URL链接的获取？获取垃圾网页？这一切都可以被展现出来。甚至于：某一页获取的次数越多，通常代表的是该页的价值。

若要对网页进行优化，抓取频率较低，那就给它添加合适的曝光度，以达到你想要的效果。

3.查看状态代码信息。

该系统中的状态代码主要有蜘蛛状态代码和用户状态代码两类，利用其状态代码能较准确地查看站点是否有抓取问题。

举例来说：404表示错误页面，301.302表示重定向，以及504.500等状态码，值得说一下：除了200状态码之外，出现其他状态码也是应该值得注意的，当然，如果只有几条不需要理睬。但一旦数量过多，网站就是100%出问题。

和用户状态码一样，代表着对用户的访问情况，在此可以清楚地看到哪个页面用户最关注。别以为这是个小东西，懂营销的站长，知道投其所好！

使用什么工具来分析网站log日志？

有很多分析百度日志的工具，如“光年日志分析工具”或“haolou在线分析”，这里有一个非常好用的网站日志在线分析工具：“www.loghao.com”。

每个人都把站点日志全部复制粘贴到左边，再点击分析按钮，就可以很容易地浏览搜索引擎爬行记录。它很简单吗？

注：网站log日志实战要点总结！

1.如果希望更多有效的登陆页面被蜘蛛抓取，那么请对结构内链进行完善。

2.不想让蜘蛛抓取具有优化意义的页面，robots.txt就会被关闭。

3."蜘蛛陷阱"无止境的循环，浪费抓取限额，通过页面抓取，都能直观看到。

4.足够的曝光强度，蜘蛛也不会抓取，只能说页面价值太低，需要进一步优化。

5.我们希望每一页都能快速下载，以便在一段时间内找到更多的网页。

6.并非所有的蜘蛛都是真正的蜘蛛，要学会看它们是否是“采集”还是“模仿”。

7.分析每日蜘蛛，可观察上升或下降趋势，明显变化，网站将发生事故。

8.降低或封禁不会产生流量的蜘蛛，这对于减轻服务器压力非常重要。