丁宇 | DING Yu

闲聊日志分析工具

说完了网页设计工具，这次讨论下日志分析的工具。

提起日志分析工具，可能大多会第一时间想起Google Analytics，这东西大家都在用，我就不班门弄斧了。简要介绍下我一直在用的Clicky。

Clicky

Clicky最大的特点，就是它对细节的无比关注。比如在Clicky中可以详细地查看某一个IP的访问踪迹，或是Firefox用户产生的PV。再加上它内置的过滤器，基本上你可以用Clicky仔细地追踪和观察所有特定的信息。

Clicky中对某一访客信息的展现Clicky中对某一访客信息的展现

Clicktale

Clicktale可是个不一般的NB服务，它可以把用户在页面上的动作以录像的形式回放！这意义之大就不用我多说了吧。如果经费有限的话，甚至可以尝试用Clicktale来做可用性测试。

Clicktale中对某一访客操作的回放Clicktale中对某一访客操作的回放

Webalizer和AWStats

除了Google Analytics和Clicky这样的工具外，还有另外一类工具也广受欢迎，这就是以Webalizer和AWStats为代表的日志文件分析工具。它们的工作原理是直接读取并解析原始的Apache日志文件，然后再根据得到的数据生成HTML报表文件。一般的用法是利用cron做Apache的日志轮询，和Webalizer/AWStats的报表轮询。

WebalizerWebalizer

AWStatsAWStats

这两个工具我都用过不短的时间，感觉从界面上说AWStats要稍微漂亮一些，但其实两者输出的内容基本一致。另外就是，这种工具需要使用者有一定的Unix/Linux知识。

MicroStrategy Business Intelligence（MSBI）

这是我用过的最强大的日志分析工具。可以说，在功能上其它工具和它完全没有可比性－根本就不是一个数量级上的。因为其它工具基本上都是靠Javascript来记录数据，然后给你一个功能有限的管理面板来查看数据。而MS的BI产品则直接把原始的Apache日志文件导入到数据库中，然后你想怎么分析就怎么分析。想抓什么数据，跑条SQL就出来了。只要你的服务器够强劲，一口气抓十几万条数据做转换率（convention rate）分析根本不是问题！

MicroStrategy的Business Intelligence（BI）产品MicroStrategy的Business Intelligence（BI）产品

Deep Log Analyzer

MSBI是一个真正适用于企业级应用的高端产品，但它的价格也不是一般的公司能负担得了的，所幸我们有Deep Log Analyzer（DLA）。

DLA的亮点在于，它可以像MSBI一样使用SQL执行自定义的查询，并且查询结果展现得非常清晰。其实支持SQL查询的日志分析工具不仅仅有DLA，但试用下来，DLA在细节方面做得最好，比如它会详细地显示出来一个URL所有的Referrer，以及这些Referrer各自对这个URL所产生的PV，这样在经常使用的转换率计算中就非常方便。

Deep Log AnalyzerDeep Log Analyzer

DLA的价格只有差不多200美元，是个值得考虑的选择。

还有……

如果上述的工具都不能满足你的需求，你就得考虑自行编写日志分析工具了。借助各种开源项目，自行编写的工作量得以大大降低。以下是一些不错的资源：

  1. Apache Log Analyzer 2 Feed。一个把Apache日志输出到feed的项目，基于PHP。要注意它默认使用的Apache Combined Log Format的定义有错误，在“>”和“s”之间多了个空格；
  2. Apache Log Regex。顾名思义，分析把Apache日志的正则类，基于PHP；
  3. Visitors。我没用过这东西，不过从它的介绍来看，它提供的访客流程图比较有趣。
  1. 丁宇 @ 2009-01-13 04:46:54 +0800:

    @Avant: 因为发邮件给你的是[email protected]这个根本不存在的邮箱，呵呵。

  2. Avant @ 2009-01-08 20:01:56 +0800:

    恩，通过JS来获取数据，我基本只用给出的pv来做基本的元数据进行分析，我们也开始使用他提供的首页点击分布。

    其他功能，基本该有的都有,人口分析还行，不过不会经常做，主要是通过顺向和逆向链接，分析用户行为，这个其他的分析工具都有吧（有点广告的味道）。
    另这个东西由于通过JS获取的数据，对于它给出的Dedicated IP，误差很大，也不能区分电信网通，所以，Dedicated IP 我基本是用内部自己开发的。

    PS：为啥我gmail直接回的被退回了啊 :(

  3. Nico @ 2008-12-25 03:13:19 +0800:

    Clicktale用户行为的回放功能, 4年前曾经提出过, 但没有资源或需求来去推动实现.

  4. BruceGAO @ 2008-12-29 03:28:45 +0800:

    [emoticon:wahou]牛人 自己编写博客程序 文章也够有深度

  5. Avant @ 2009-01-07 01:51:56 +0800:

    我这都用尼尔森

  6. wingfish @ 2009-01-07 17:14:57 +0800:

    国内商业化的还有Nielsen的SC，一度还是卖得很好的，主流门户都用了，按照流量收费，一天200w pageview的网站一年大概要20万人民币左右，有一些特色功能，比如中国人口分析和heat map。

  7. 丁宇 @ 2009-01-07 17:40:22 +0800:

    @Avant @wingfish 你们说的是Site Census？这个是通过内嵌Javascript来获得数据的吧，在功能上有什么特别的？人口分析能获得哪方面的数据？

  8. alibuybuy @ 2008-12-19 17:55:58 +0800:

    [emoticon:jet]

    都收费的哦

  9. avant @ 2009-01-19 10:25:56 +0800:

    不用share了，我买了个pro的licenses,好贵

  10. 丁宇 @ 2009-01-19 17:40:09 +0800:

    @Avant: 米人就是这样练成的 [emoticon:glasses]

  11. Chris @ 2009-02-19 23:02:33 +0800:

    个人觉得，在日志分析领域，没有几个软件能和webtrends抗衡的。。。

  12. winner @ 2009-03-17 06:40:02 +0800:

    我要分析日志，看一看用户使用网站的情况，你能告诉我你的联系方式吗？最好是电话，我要请教几个问题。多谢！