【解析いろは5】解析データの数字に踊らされるな

アクセスログ解析のデータの精度は100%ではない。統計で収集するデータと根本的に違う。ということは【解析いろは2】で書きました。それは、アクセスログ解析を否定するのではなく、数字の精度という幻想（と言い切ってみる）に踊らされてはいけない、という意味です。
【解析いろは2】の（私の）答えの一部を言いますと、アクセスログ解析は統計学のような客観的な信頼性はなくとも相対的に、ウェブの状況把握や仮説を立てるには充分な、非常に豊かなデータといえます。
で、今回のお題。数字に踊らされてはいけないというもうひとつの意味は『計測データの不一致』です。
・解析ツールが異なれば、同じウェブビーコン方式であっても同じ指標に差が出ます。
・方式が異なれば同じ指標でも差が出ます。設定によっても差が出ます。

一番イヤなのは解析ツールの指標間で定義が微妙に違っていて、同じ名称なのになぜか異なる場合。
　何度触っていても、こういうシーンに遭遇すると「カンベンしてくれ」と思います。差異が出るのはなぜか確認をしなくてはなりませんから。
差が出る場合はフィルタをかけていたり、根本的にデータエラーだったり、計測期間が長期だったり、が多いです。しかしですねぇ、同じ項目名を使うのならせめてひとつの解析ツールの中では整合性があってほしい。数値が異なるということは、同じ項目名であっても算出ロジックが違っているということなんですから。このように数値が合わない数々の悲劇は【GAの壁】というタイトルで幾つかご紹介していきます。（GAかい！）

有料のツールならヘルプデスクやサポートに確認ができるのですが、無料だとそれができないケースが多いです。サポートと精度の高さを求めるのなら　Googke アナリティクスプレミアムを利用することも検討したほうがいいです。ちなみにプレミアムはプレミアム認定リセラーという代理店経由で購入するようです。既存アカウントで利用できることから、無料のGAの次の解析ツールへ移行しやすいですね。いい商売してるぜ！
　Googke アナリティクスプレミアム：
http://www.google.co.jp/intl/ja_ALL/analytics/premium/index.html

そういうわけで解析ツール内でも指標間の数値が合わないことはままあります。ここで大切なのは、解析データとはそういうもので、しかし有益であるということをクライアントに説明し、納得してもらい共有することです。そうすれば、数字だけに拘泥することもないでしょうし、「これの合計が違うんだけど!?」とドヤ顔されることもないでしょう。

思うに、自分がわからないジャンルで（＝アクセスログ解析）、その判断基準が不明瞭な場合（＝判断基準や目標が共有されていない）、「明確に出ているもの＝数字」の整合性に根拠を求めてしまうのだと思います。統計ならばそれでもOKかもしれませんが、解析データでそれをやると間違いなく時間の浪費です。
数字が合わないことの説明は多くの場合は説明ができないのです。仮に生ログをサーバで取っていたとしても、そのデータであるウェブビーコン方式の解析ツールの数字の差異を説明することはできません。有料でサポートがあるならともかく、無料版での解析ツールの定義と仕様を極限までつきつめていけば可能かもしれませんが、そこまでやる価値があるかということですね。

ただし、この場合でも自分で調査し、数字が合わないことを把握しておいたほうがいいとは思います。うっかりフィルターをかけて見ていたり、など原因がある場合もありますし、わからなくても最低限、「やっぱりこことここの定義が違うんだな」という程度でも知らないよりマシです。検索すると同じケースがあったりします。同業の仲間やフォーラムで相談するのも手です。あらゆる手を尽くして、自分なりに齟齬や問題点を整理・把握しておくことは必須作業です。
前段で解析ツール内でのつじつま合わせは時間の無駄だといいましたが、それと問題把握と調査は別のことです。
調べもせず根拠もないのに、合わないのは解析ツールのせいだ、といって終わってしまうと解析そのものへの不信感にもつながります。（まあ、実際そうなんですけど）。そういうケースもあるということ、それが全体の動向を把握するには影響はないということを丁寧に誠実に説明すること。結局は解析に関する認識を共有することが大事ですよね。