丁宇 | DING Yu

闲聊日志分析工具

说完了网页设计工具,这次讨论下日志分析的工具。

提起日志分析工具,可能大多会第一时间想起Google Analytics,这东西大家都在用,我就不班门弄斧了。简要介绍下我一直在用的Clicky

Clicky

Clicky最大的特点,就是它对细节的无比关注。比如在Clicky中可以详细地查看某一个IP的访问踪迹,或是Firefox用户产生的PV。再加上它内置的过滤器,基本上你可以用Clicky仔细地追踪和观察所有特定的信息。

Clicky中对某一访客信息的展现Clicky中对某一访客信息的展现

Clicktale

Clicktale可是个不一般的NB服务,它可以把用户在页面上的动作以录像的形式回放!这意义之大就不用我多说了吧。如果经费有限的话,甚至可以尝试用Clicktale来做可用性测试。

Clicktale中对某一访客操作的回放Clicktale中对某一访客操作的回放

Webalizer和AWStats

除了Google Analytics和Clicky这样的工具外,还有另外一类工具也广受欢迎,这就是以WebalizerAWStats为代表的日志文件分析工具。它们的工作原理是直接读取并解析原始的Apache日志文件,然后再根据得到的数据生成HTML报表文件。一般的用法是利用cron做Apache的日志轮询,和Webalizer/AWStats的报表轮询。

WebalizerWebalizer

AWStatsAWStats

这两个工具我都用过不短的时间,感觉从界面上说AWStats要稍微漂亮一些,但其实两者输出的内容基本一致。另外就是,这种工具需要使用者有一定的Unix/Linux知识。

MicroStrategy Business Intelligence(MSBI)

这是我用过的最强大的日志分析工具。可以说,在功能上其它工具和它完全没有可比性-根本就不是一个数量级上的。因为其它工具基本上都是靠Javascript来记录数据,然后给你一个功能有限的管理面板来查看数据。而MS的BI产品则直接把原始的Apache日志文件导入到数据库中,然后你想怎么分析就怎么分析。想抓什么数据,跑条SQL就出来了。只要你的服务器够强劲,一口气抓十几万条数据做转换率(convention rate)分析根本不是问题!

MicroStrategy的Business Intelligence(BI)产品MicroStrategy的Business Intelligence(BI)产品

Deep Log Analyzer

MSBI是一个真正适用于企业级应用的高端产品,但它的价格也不是一般的公司能负担得了的,所幸我们有Deep Log Analyzer(DLA)。

DLA的亮点在于,它可以像MSBI一样使用SQL执行自定义的查询,并且查询结果展现得非常清晰。其实支持SQL查询的日志分析工具不仅仅有DLA,但试用下来,DLA在细节方面做得最好,比如它会详细地显示出来一个URL所有的Referrer,以及这些Referrer各自对这个URL所产生的PV,这样在经常使用的转换率计算中就非常方便。

Deep Log AnalyzerDeep Log Analyzer

DLA的价格只有差不多200美元,是个值得考虑的选择。

还有……

如果上述的工具都不能满足你的需求,你就得考虑自行编写日志分析工具了。借助各种开源项目,自行编写的工作量得以大大降低。以下是一些不错的资源:

  1. Apache Log Analyzer 2 Feed。一个把Apache日志输出到feed的项目,基于PHP。要注意它默认使用的Apache Combined Log Format的定义有错误,在“>”和“s”之间多了个空格;
  2. Apache Log Regex。顾名思义,分析把Apache日志的正则类,基于PHP;
  3. Visitors。我没用过这东西,不过从它的介绍来看,它提供的访客流程图比较有趣。

  1. 丁宇 @ 2009-01-13 04:46:54 +0800:

    @Avant: 因为发邮件给你的是mailer@dingyu.me这个根本不存在的邮箱,呵呵。

  2. Avant @ 2009-01-08 20:01:56 +0800:

    恩,通过JS来获取数据,我基本只用给出的pv来做基本的元数据进行分析,我们也开始使用他提供的首页点击分布。

    其他功能,基本该有的都有,人口分析还行,不过不会经常做,主要是通过顺向和逆向链接,分析用户行为,这个其他的分析工具都有吧(有点广告的味道)。
    另这个东西由于通过JS获取的数据,对于它给出的Dedicated IP,误差很大,也不能区分电信网通,所以,Dedicated IP 我基本是用内部自己开发的。

    PS:为啥我gmail直接回的被退回了啊 :(

  3. Nico @ 2008-12-25 03:13:19 +0800:

    Clicktale用户行为的回放功能, 4年前曾经提出过, 但没有资源或需求来去推动实现.

  4. BruceGAO @ 2008-12-29 03:28:45 +0800:

    [emoticon:wahou]牛人 自己编写博客程序 文章也够有深度

  5. Avant @ 2009-01-07 01:51:56 +0800:

    我这都用尼尔森

  6. wingfish @ 2009-01-07 17:14:57 +0800:

    国内商业化的还有Nielsen的SC,一度还是卖得很好的,主流门户都用了,按照流量收费,一天200w pageview的网站一年大概要20万人民币左右,有一些特色功能,比如中国人口分析和heat map。

  7. 丁宇 @ 2009-01-07 17:40:22 +0800:

    @Avant @wingfish 你们说的是Site Census?这个是通过内嵌Javascript来获得数据的吧,在功能上有什么特别的?人口分析能获得哪方面的数据?

  8. alibuybuy @ 2008-12-19 17:55:58 +0800:

    [emoticon:jet]

    都收费的哦

  9. avant @ 2009-01-19 10:25:56 +0800:

    不用share了,我买了个pro的licenses,好贵

  10. 丁宇 @ 2009-01-19 17:40:09 +0800:

    @Avant: 米人就是这样练成的 [emoticon:glasses]

  11. Chris @ 2009-02-19 23:02:33 +0800:

    个人觉得,在日志分析领域,没有几个软件能和webtrends抗衡的。。。

  12. winner @ 2009-03-17 06:40:02 +0800:

    我要分析日志,看一看用户使用网站的情况,你能告诉我你的联系方式吗?最好是电话,我要请教几个问题。多谢!