2013年5月15日水曜日

【Pick Up】ウェブ解析とアイトラッキング

今朝NHKのニュースで取り上げられていた「アイトラッキング」という技術。昨年末くらいからウワサにはなってましたが、SUMSUNの新機種に搭載されているようです。
NHK http://www.nhk.or.jp/ohayou/closeup/20130515.html

体の不自由な方も、アイトラッキング装置を導入し眼球を動かすことができればPCが操作できます。装置のほうはまだまだお高いのですが(低価格帯でも90万円台!)、このように実用化されるのはとても喜ばしいことです。
アイトラッキング技術を利用したマーケティングはすでに行われており、ウェブ解析の分野でもそのサービスを提供している会社が幾つもあります。

■アイトラッキングてなに?
定義としては「人の視線の動きを追跡し、記録する機能及び機械」といえるでしょう。詳細は下記ページ参照。低価格のアイトラッキング装置を開発販売している会社ですね。
ドビー・テクノロジー・ジャパン http://www.advertimes.com/20130215/article101907/


■アイトラッキングとウェブ解析
無料ではユーザーヒートが有名です。(私は使ったことないですけどー)
http://userheat.com/
ただし個人のみ無料で、企業は有料サービスを利用しなくてはなりません。サンプルみてるだけでもかなり面白い!
ウェブ解析におけるアイトラッキングの利用目的は、
○ユーザビリティテストを行う
○ユーザー分析
です。もともとユーザビリティテストの一環として使われています。装置や調査環境などのセッティングに費用がかかること、調査費用もお安くないので常時使うわけにはいきません。ユーザビリティの確認方法は、被験者を集めるユーザビリティテストのほうが安くつく場合もあるでしょう。
<参照>U-site:5ユーザーでテストすれば充分な理由(Why You Only Need to Test with 5 Users
著者:Jakob Nielsen, Ph.D
http://www.usability.gr.jp/alertbox/20000319.html

昨今の解析は、ソーシャルの普及とともにユーザーセグメント、ユーザー分析を強化していく方向性だと思います。アナリティクスはユニバーサルアナリティクスやプレミアムといったユーザー基軸の機能を、従来のアナリティクスとは別に展開を開始したんだな、と勝手に思ってますw。
リファラ等のユーザー情報とアイトラッキングが連動すれば、動向をもっと細密に検証できるでしょう。40代女性層リピーターは圧倒的にこのバナーを見てクリックする、とか。30代男性層新規ユーザーはこの記事のこのリンクから商品詳細を見ている、とか。
ユーザーヒートの企業向けサービス「ユーザーインサイト」ではヒートマップと読者層の男女比や地域、年齢層(推定ですよ、あくまで)も提供しているようですね。画面で見た限りですが。


ただし、アイトラッキングについては、NHKの番組内でも指摘があったように「その人の思考が現れる」傾向があるそうです。『目は口ほどに物をいい』てやつですね。ですので、アイトラッキングを実行する、あるいはしている場合はユーザーに利用目的や内容を明示することが必要だとはと思います。

アクセスログは個人情報ではなく、その情報だけで個人を特定することは通常ではできません。ウェブ解析におけるアイトラッキングも、リファラが連結されていても個人の特定は不可能です。なので必要以上にビビったり警戒することはないですが、 こんなこと書くと、自分のアクセス情報を取られるのはいやだ、拒否したい、でもウェブサイトは見たいという人がいるかもしれません。
前述のとおり「(基本的には)アクセスログは個人情報ではない」、サイトの所有者に帰属する情報だという理解が通説です。JavaScriptを切る(ウェブビーコン方式の場合だけですが)、プロキシサーバ経由でアクセスするなどの手段を使って自己防衛してください、という話になります。

2013年5月13日月曜日

【解析いろは7】ウェブ解析のPDCAサイクルのP、「仮説」について

ウェブ解析でもPDCAサイクルでの思考がほぼ当たり前になってきてます。その中で仮説を立てるという作業(P=PLAN) はどういうことなのか。というお題です。
 
ウェブ解析のフローにPDCAサイクルを当てはめることが流行ってます(流行ってるっていうな)。「そんな風に具体的に説明するとなんとなーく説得力があるから」という実利的な理由もあります。
本音はさておき、PDCAサイクルに解析業務を当てはめるのは、ウェブサイトが業務の内容として占める比重が大きくなり、よりビジネスに貢献することが求められるようになってきたからですね。ウェブ解析は単発では あまり役に立たないですしね。現状把握ができたとして、次に改善したときに効果を検証するには、やっぱり解析が必要です。その意味では現時点では合理的な説明方法といえます。まあ、ただ現場で本気でPDCAに取り組んできたおっちゃんたちには「はぁ?ウチらとっくにそういうのやってんだけどー」という生温い気持ちにもなりかねません。企業の人たちは本当に本気で会社の業務を回してきるのですよ。そこへ外部の人間がドヤ顔でPDCAが・・・なんて語りだしたらどうなるでしょう。
ぺらっぺらな言葉だけで語るのではなく、「御社と同様のビジネスの理論を根底に、我々もウェブをビジネスとして真剣に考えてます」という姿勢を提示すべきだと思います。

長いマエフリになりましたが。PDCAサイクルに則って考えよう、のうちのP=PLAN、仮説立案についてちょっと考えてみました。かつて、すごく率直な疑問を投げかけられたことがあります。
(1)「ウェブ解析での仮説はどのくらいの精度(信憑性)なのか」
(2)「その仮説は仮説を立てる人の思考やスキルに依存しているのではないか」

(1)「ウェブ解析での仮説はどのくらいの精度(信憑性)なのか」
多くの人はどれくらい、という程度を示すのに数字を使いたがります。そうすることで論理の信憑性を補強したいわけです。
これが統計であれば、絶対的・客観的な統計データを元に%の確率で・・・という数字が出せるかもしれませんが、そもそもウェブ解析のデータは「相対的な」数字の上に成り立っています。 そこから生じる仮説の実効性の確率をはじき出すのは困難ですというかムリです。
例えば、研究開発におけるPDCA。数ある遺伝子のうち、ある細胞を作るたに働く遺伝子を特定しなければならない。その場合、数字的な確証を持って実験を行うだろうか?もし数字的な確証を持ってやれるのならそれはすでに確立した理論であって他の人もやっていることではないか。と。

数字や科学反応といったものへ信頼の根拠を求めるのは、不安があったり納得していないからではないでしょうかね?

私の(現時点での)結論は、相対的な、固有のデータを見て、集計して、そこからわかること、推察できることに確率としての数字は出せません。 ですので、その考えに至った思考過程と根拠となるデータを提示します。その上で、私はこう思います。このことにはこういう対応が可能です。と、私なら答えます。
間違ってはいけないのは、ウェブ解析は「答え」を出す行為ではないはずです。ビジネス的な、DO(実行)の判断をするのはあくまでもクライアントで、我々は情報を提供し、最大限協力はできますが、ビジネスの主体はクライアントなのです。 数字への信頼ではなく、ウェブ解析をするプロとしての信頼を得ることが重要と思ってます。答えになってないって?だから答えは出すものではなく・・・
 
(2)「その仮説は仮説を立てる人の思考やスキルに依存しているのではないか」
人間が介在する以上、依存すると思います。正直、経験の差もありえます。
解析担当として、その仮説に不安がある、自分でもちょっと・・・と思う場合は、営業ふくめ社内で検証してみるといいでしょう。ピンの場合は? 守秘義務の範囲内で同業に意見を求めるのも手だと思います。最終的には自分が責任をもってレポートを提出するわけですから、論理破綻がないようにだけは気をつけないといけません。
正解や答えを出そうとすると、数字に基づいたありきたりな内容、ベタベタな指標の説明のみに落ち着きかねません。わかったようでわからないレポートだけが後に残り、読み捨てられていくのです。(アイタタター)
徹底的に調べる・時に他者の参考意見を聞く・論理の道筋が通っていることが「仮説」の信頼性をより厚くすると思っています。
さっきの細胞の話に戻りますけど、可能性のある細胞をひとつの培養皿で培養しました。乱暴な話ですよね。でもそこに至るまでに、膨大なDBを解析し、徹底的に調べ、可能性のある細胞を24個に絞り込んでいるのです。もちろん、はずれる可能性だってあったでしょう。はずれても恐らく、この実験をした人はまた解析し、調べて、別の細胞で検証したと思います。ああ、見事なPDCAサイクル・・・(仮想の話です)。
つまり、仮説というのは想像でも妄想でもヤマ勘でもありません。そこに至るまでの筋道があり、ある程度の精度を備えている。もし成果がでなければ、その筋道を変えてみる。経験やスキルで仮説の差が出るのは、その道筋を経験則(成功体験あるいは失敗)である程度把握し、理解しているから結論への道が短いということだと思います。経験者も失敗しますし、初心者だからこそ鋭い洞察が可能なことがあります。なので、一概に経験数で語れない、ということも仮説にはあります。私個人は経験則や経験年数はあまり信用してません。判断が古いデータに基づく場合も多いからです。 経験をもちつつ、経験に依存しない、まったいらな目でデータを解析できる人が優れた解析者だと思います。そうありたいなぁ・・・と思います。

2013年5月11日土曜日

【GAの壁】GAでPDFのダウンロード数をカウントする

GAではデフォルトでPDFのダウンロード数をカウントすることはできません。通常はイベントトラッキングか仮想ページビューを使ってカウントします。いずれも<a ~>リンクにonClickでJSを実行させるスクリプトを記述します。(以下、PCサイトの計測を前提としています)
<結果>
イベントトラッキング(Event Tracking):イベントとしてイベントトラッキングサマリーで確認できる
仮想ページビュー(Virtual Pageview) :指定したページ名のPV数としてカウント

参考「 Google アナリティクスのバーチャル(仮想)ページビューとそのトラッキングコード」:http://gaforum.jp/basic/spec/3738
★ページの直帰率やページの見出しでの集計結果が変わることをあらかじめ認識しておく必要があります。

でも大量にPDFがあったらスクリプト挿入が手間。管理が大変です。それよりなにより、GAではPDFやらのリンククリックの計測は上記2つということしか頭になかったので、ある計測データを見て「.pdf」があったのですごく悩んだことがあったのですよ・・・
でも他にも方法があるのです。「a がクリックされたらjQueryかJavaScriptでクリックイベントを検出してトラッキングタグに引き渡す」というやり方です。$('a')とか("a")とか。私は勝手にアヒルと呼んでいます。

以下、注意です。
うっかり仮想ページビューと併用した場合でカウントの重複が生じます(当たり前)。また、スクリプトの内容によりけりと思いますが、データがきちんと取れていなさげなものもありました。データの整合性にちょっと難があるかなあというのが感じたところ。スクリプトの中身まで確認してませんが、そのケースではPVとしてカウントされていたため、他の指標への影響が気になりました。本来の使い方ではないため「自己責任で」ということになるでしょうか。jQueryでイベントトラッキングを<a~>に対して自動的に付加していくのであれば、ある程度の精度をもってトラッキングできるのかもしれません。

個人的にはGoogle analytics内で相応に精度を保ち計測を完結させたいのであれば、デフォルトのイベントトラッキングや仮想ページビューを使うほうが悩みが少なくて済むと思いました。<a>にクリックイベント+関数を追加するスクリプトを使う場合は、特に計測対象が多い場合はイベントトラッキングにしたほうが他のデータへの影響が少ないと思います。

一応付け加えておくと、PDFのダウンロード数カウントで悩むのはGA含むウェブビーコン方式です。PDFではJSタグが埋め込みできず、実行できないからです。
さらに。ガラケーの場合はほぼJSが動作しないため外部リンクのクリック数、ダウンロード数の計測は頑張らないといけません(個人的にはこのためだけに、早くガラケー消滅してほしいなどと思ったり)
参照:ダウンロード数などをカウントしたい
http://productforums.google.com/forum/#!category-topic/analytics-ja/%E6%90%BA%E5%B8%AF%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E8%A7%A3%E6%9E%90/G34axe7w8wQ
 
 
 

2013年5月10日金曜日

【解析いろは6】解析にまつわる資格

アクセスログ解析の認知が高まるにつれて、知名度も少しづつ広がってきた感がある解析士。今日は解析士という資格についてライトにまとめてみました。売り込むための美辞麗句も書けるのですが、こういうものだと知ってもらいたいため、まったいらに書きました。

(1)ウェブ解析の資格
 一つだけじゃなくて色々あります。下記以外にもウェブ、IT系の専門学校でもコースがあると思います。増えたなあ~
(い)WACAウェブ解析士(初級~マスター):http://www.web-mining.jp/
(ろ)アクセスログ認定講座:http://www.pm-college.jp/LP/accesslog/
(は)アクセスログ解析スペシャリスト1級認定講座:http://blog.ssgh.co.jp/article/209529306.html
(に)Google アナリティクス individual Qualification (Google analyticsの個人に対する認定資格)
(ほ) Google アナリティクス 認定パートナー(企業に対するビジネスパートナー認定)
 
(2)民間団体の認定資格であり国家資格ではない
現時点(2013/5)ではすべて民間団体の認定資格です。
ま、国家資格になると資格としてのランクは上がるかもしれませんが、管理団体が肥大して実を伴わないケースもあるので、国家資格だからいいという判断もうかつにできませんが。

★依頼しようかな、どうしようかなと思っている方々へ。
○資格が担保するもの
試験があり、ある基準は満たしていると思うのですが、各資格によってレベルがまちまちなためどう判断していいのかわからないことも多いでしょう。
色々な質問を投げかけてください。普通は正面きって考えないことなのですが、アクセスログ解析への基本理解が試されるような質問がいいと思います。アクセスログ解析やウェブに詳しくない人の素朴な疑問が結構ききます。

○資格のレベル
どんな資格でもそうですが、同じ資格の同じクラスであっても個人によってバラツキはあります。
経験主義ではないですが、案件の経験値は判断や仮説立案でとても重要です。また後日この点については書きますが、「勘」で仮説は立てません。仮説には必ず判断の筋道があります。参考程度に今までやってきた案件のことなどもお尋ねください。

★これから受講しようかな、興味があると思っている方々へ。
 ●どの資格を取ったらいいの?
民間認定資格の名の通り、そのことに法的効力・義務はありませんので、自分で調べて受けたいと思うところで受講するのがいいと思います。個人的には「稼げる」「食べていける」とうたっているのは不誠実だと思いますが。あれ、後に(かも?)という見えないテキストが隠されてるんだぜ?




●資格を取れば仕事がある?
自動的に仕事が降ってくる資格は国家資格も含め皆無です。努力と経験の上に仕事の神様は降臨します。ただ、資格があれば話のネタになるので営業しやすいと思います。



●参考:WACA認定ウェブ解析士について
初級は基礎用語と解析全般に関わる知識です。営業、ディレクター系の人は受講して基礎知識をまとめておくのもいいかなと思います。受講料は、講義がちゃんとあるのでこんなものだと思います。
中級がなくて上級に飛ぶわけですが、受講料もかっとぶので本気が必要です。内容は基礎知識+少々深いところに加えて、実務的な要素も入っていきます。テストに加算される課題はかなり実務的。知識+思考方法を押さえる感じです。
マスターは初級を教えることができます。つまり「お教室・お講座ビジネス」が展開できるわけです。受講料も講習も試験もちょっと(かなり)ハードです。
資格は取りっぱなしではなく、講習会を受講してスキルを維持する義務もあります。

特定の会社の子飼いになるわけでも特定の解析ツールに縛られるわけでもありません。解析というものの認知を広める一役を担っているとは思います。このようなモデルを作ったという点は評価できると思います。




まとめると、資格ホルダーもクライアント側も、資格だけですべてを判断しないでください。一定の知識は備えているだろうという前提のもとに、少し話をする時間をください、と資格ホルダーの私は申し上げます。基本的に、ビジネスの根底にはビジネスなりの信頼関係が必要であると考えています。最初の信頼に値する誠実な態度や回答があれば、まずは使ってみてください。

2013年5月7日火曜日

【GAの壁】アナリティクスの新規のユニークユーザーは何人?

リピーターと新規でユーザー別に訪問回数や平均の閲覧ページビュー数などを見て動向を把握します。クライアント側でユーザー分析をしたことがない場合のとっかかりとして役立ちます。通販系では、リピーターに何回も買い物をしてもらうほうが基本的にコストが低くてすむことが多いし、購入金額も新規よりは高めになる傾向が(一般的に)あるので、リピーター強化に力を入れる場合が多いかなと思います。
で、そんな貴重な指数であるクユーザー(ユニークユーザー、単位は○人)ですが、アナリティクスではサマリーで調査期間内のユニークユーザーは表示されていても、そのうち新規ユーザーは何人、という明記がありません。どういうことよ!? 通常、解析ツールなら大体掲載されてますよね。
ユーザーサマリーの「新規訪問とリピーターの割合」は全セッション数における新規とリピーターのセッション数(訪問回数)の割合であって「○人」ではありません。
アナリティクスの新規訪問の定義は、
『調査期間内に本当に初めてそのサイトを訪問』
のようです。つまり、初めてサイトを訪問した初回の1セッションだけが新規訪問という扱いで、その定義からすると新規訪問=新規訪問者数 と考えることができます。
だけどややこしいのが、じゃあその新規訪問者さんが例えば同じ日に再度訪問した場合はどうなんだ、というと↓
 Web担当者フォーラム:http://web-tan.forum.impressrd.jp/e/2009/04/07/5336
すごくわかりやすくマンガで説明してくれています↓
カグア!さん:マンガで学ぶGoogle Analyticsの新規ユーザー:http://www.kagua.biz/help/manga-repeater.html

さあ、何がなんだかわからなくなってきてる人もいるのでは。GAでは新規ユーザー(○人)という概念は明示していません。新規訪問回数=新規訪問者数 と考えることはできても、リピートユーザー(●人)という概念はなく、単純に新規ユーザー数をユニークユーザー数から引いただけでは算出できない、ということです。

言葉のメージからすると、調査期間内の新規ユーザーは新規ユーザーとしての行動把握ができそうな感じですが、 GAはセッション基軸なんですね。細かいユーザー動向の把握には向いているとはいえません。プレミアムはどうかしりませんが。
知らないとぶちあたる、分かっても納得がないかないGAの壁でした。

2013年5月2日木曜日

【解析いろは5】解析データの数字に踊らされるな

アクセスログ解析のデータの精度は100%ではない。統計で収集するデータと根本的に違う。ということは【解析いろは2】で書きました。それは、アクセスログ解析を否定するのではなく、数字の精度という幻想(と言い切ってみる)に踊らされてはいけない、という意味です。
【解析いろは2】の(私の)答えの一部を言いますと、アクセスログ解析は統計学のような客観的な信頼性はなくとも相対的に、ウェブの状況把握や仮説を立てるには充分な、非常に豊かなデータといえます。
で、今回のお題。数字に踊らされてはいけないというもうひとつの意味は『計測データの不一致』です。
・解析ツールが異なれば、同じウェブビーコン方式であっても同じ指標に差が出ます。
・方式が異なれば同じ指標でも差が出ます。設定によっても差が出ます。

一番イヤなのは解析ツールの指標間で定義が微妙に違っていて、同じ名称なのになぜか異なる場合。
 何度触っていても、こういうシーンに遭遇すると「カンベンしてくれ」と思います。差異が出るのはなぜか確認をしなくてはなりませんから。
差が出る場合はフィルタをかけていたり、根本的にデータエラーだったり、計測期間が長期だったり、が多いです。しかしですねぇ、同じ項目名を使うのならせめてひとつの解析ツールの中では整合性があってほしい。数値が異なるということは、同じ項目名であっても算出ロジックが違っているということなんですから。このように数値が合わない数々の悲劇は【GAの壁】というタイトルで幾つかご紹介していきます。(GAかい!)

有料のツールならヘルプデスクやサポートに確認ができるのですが、無料だとそれができないケースが多いです。サポートと精度の高さを求めるのなら Googke アナリティクスプレミアムを利用することも検討したほうがいいです。ちなみにプレミアムはプレミアム認定リセラーという代理店経由で購入するようです。既存アカウントで利用できることから、無料のGAの次の解析ツールへ移行しやすいですね。いい商売してるぜ!
 Googke アナリティクスプレミアム:
http://www.google.co.jp/intl/ja_ALL/analytics/premium/index.html

そういうわけで解析ツール内でも指標間の数値が合わないことはままあります。ここで大切なのは、解析データとはそういうもので、しかし有益であるということをクライアントに説明し、納得してもらい共有することです。そうすれば、数字だけに拘泥することもないでしょうし、「これの合計が違うんだけど!?」とドヤ顔されることもないでしょう。

思うに、自分がわからないジャンルで(=アクセスログ解析)、その判断基準が不明瞭な場合(=判断基準や目標が共有されていない)、「明確に出ているもの=数字」の整合性に根拠を求めてしまうのだと思います。統計ならばそれでもOKかもしれませんが、解析データでそれをやると間違いなく時間の浪費です。
数字が合わないことの説明は多くの場合は説明ができないのです。仮に生ログをサーバで取っていたとしても、そのデータであるウェブビーコン方式の解析ツールの数字の差異を説明することはできません。有料でサポートがあるならともかく、無料版での解析ツールの定義と仕様を極限までつきつめていけば可能かもしれませんが、そこまでやる価値があるかということですね。

ただし、この場合でも自分で調査し、数字が合わないことを把握しておいたほうがいいとは思います。うっかりフィルターをかけて見ていたり、など原因がある場合もありますし、わからなくても最低限、「やっぱりこことここの定義が違うんだな」という程度でも知らないよりマシです。検索すると同じケースがあったりします。同業の仲間やフォーラムで相談するのも手です。あらゆる手を尽くして、自分なりに齟齬や問題点を整理・把握しておくことは必須作業です。
前段で解析ツール内でのつじつま合わせは時間の無駄だといいましたが、それと問題把握と調査は別のことです。
調べもせず根拠もないのに、合わないのは解析ツールのせいだ、といって終わってしまうと解析そのものへの不信感にもつながります。(まあ、実際そうなんですけど)。そういうケースもあるということ、それが全体の動向を把握するには影響はないということを丁寧に誠実に説明すること。結局は解析に関する認識を共有することが大事ですよね。

2013年5月1日水曜日

【解析いろは4】ソーシャル解析の指標だけでは効果が測れない

ソーシャルの計測は既存の解析ツールの開発がなかなか追いつかないためか、別のサービスを利用するケースが多いようです。Facebookだとインサイト機能、Twitterならクチコミ@係長(http://www.hottolink.co.jp/kakaricho)をよく耳にします。Twitterはbit.lyやTopsyなどの無料ツールもありますが、関連するツィートをアナログで検索して集計して・・・とすごく工数がかかるので、定点観測するのなら絶対有料がおすすめです。

解析の中でもホット(と思われる)ソーシャル解析ですが、ツール間で大体共通している指標があります。
★リーチ:情報の到達度
★エンゲージメント:ユーザーとの接触の密度
★コメント、記事内容のポジティブ/ネガティブ
ツールによって用語定義も内容も様々なんですが概念としてはこんな感じ。アクセスログ解析と異なるのは、立体的といったらいいんでしょうか、ユーザーへの波及効果やその密度、どのような感情でもって受けとめられているかということが明示的に分かる点です。
これまで企業の認知度調査は高い金を払ってアンケートを取る等の方法でしたが、ダイレクトに商品や企業へのリアクションが把握できるようになったわけです。ソーシャルを使っている人という限定的な範囲ですが、ウェブのアプローチとトラフィックの効果を考えるとそれで充分じゃないでしょうか。そもそもネットを利用してアプローチしない層が顧客の場合、問題にならないわけですし。
ダイレクトという利点の反面、解析は自前でやらなくちゃいけないとかネガティブやクレームにも対応をしっかりしなければファン離れを起こすという点もよく理解しておかねばなりません。いいも悪いも含めて真摯にユーザーと向き合う覚悟をもつことが、ソーシャルツールの利用ですよね。

で、指標の話に戻ります。ソーシャルの指標はアクセスログ解析の指標ほど細分化されていなくて一見明快!ですが、いざ報告書にまとめると結果がわからないことが多いのです。実際、報告書を見て「これが、どういう影響を及ぼすのか?」というリアクションが出てきます。
 リーチも、エンゲージメントも、コメントの内容も、どのように判断するかという基準が提示されていないからわからないのです。

『今回の計測ではリーチは●回でした。リーチを今回より5%増やすようにしましょう、そうすれば御社の提供しているサービスの認知度があがります。』

こういう記述は一見、伝わるようにみえて、すっかすかなんですね。下記の流れがないと上の文章は意味がないと思います。
まず最初にソーシャルで何をしたいか(ゴール)、それを達成するための個々具体的な目標(KSFとかKPIとか。上記の例だとKPIは『リーチを5%増』)があって、それらを測る指標にはリーチ数というのを用います。という思考です。
ゴールとKSF、KPIが共有されていれば 上記の結論だけで通じますが、「よく効果がわからない」というリアクションが出る場合は共有されていない、あるいは設定していないと考えられます。指標や用語の定義がわからないというITリテラシーを解決することとは別問題なのです。

アクセスログ解析と同様、ソーシャル解析も指標だけで結果を測ることはできません。指標は確固たるものですが、しかしその数や捉え方はFBページの運用者次第です。コメントのポジティブとかネガティブの判断基準も同じですよね。一見ネガティブに見えてもヘビーユーザーだからこそ愛着と改善を望む声とか。
ネットやソーシャルをよく知らない人にこそよくわかる報告を、判断基準などの設計をまず考えること。が解析する側の任務だと思います。