その数字は、どんな質問から出てきたのかを考える

アンケートの結果は、いろいろなところで目にします。「利用者の70%以上が、また買いたいと回答しました」。こういう数字を見ると、なんとなく信頼できる気がします。しかも、母数が大きいほど、その感覚は強くなります。1万人が答えたと言われれば、それだけで真実味が増します。

今回は、その数字がどこから出てきたのかについて考えてみます。アンケートは意味がないという話ではなく、使い方によって役に立ったり、そうでなくなったりする道具だ、という話です。

自分が答える側だったら、どれを選ぶでしょうか

満足度調査で、よく五段階の選択肢を見ます。満足、どちらかというと満足、どちらでもない、どちらかというと不満、不満。

ここで、自分が答える側になったときのことを考えてみてください。「どちらかというと満足」という気持ちが、自分の中にあるでしょうか。たぶん、ないと思います。実際にあるのは、「まあ悪くはなかった」「思っていたのとは違ったけれど、これはこれで」「特に不満はないけれど、また来るかというと分からない」といった、もっと複雑な感覚です。

それでも答えなければいけないので、いちばん近そうなところに自分を置きます。その結果が「どちらかというと満足」です。つまりこの回答は、その人の気持ちを表したものというより、用意された目盛りに合わせて置かれた位置です。

「なんとなく」や「特に理由はない」という選択肢にも、同じことが起きます。この項目が思いのほか多く選ばれることがありますが、それは答えた人に理由がなかったとは限りません。用意された選択肢のどれも自分の実感と違って、かといって答えないわけにもいかない。そういう人たちが、消去法でそこを選んでいる場合があります。答えた人にはそれぞれ理由があったのに、それを表す選択肢がなかった、ということです。

こうした回答は、答えた人の気持ちというより、質問と選択肢の設計が現れた場所だと言えます。それが集計されて表になると、あたかも回答者の気持ちのように見えてきます。

母数を増やせばいいというわけでもない

ここで、母数の話に戻ります。

アンケートは、答えた人が多いほど信頼できるように感じます。ただ、質問と選択肢の設計が同じであれば、母数を増やしても、先ほどの歪みは直りません。行き場をなくした人が、100人から1000人に増えるだけです。

むしろ、数字が大きくなるほど、疑われにくくなります。1万人が答えたと言われると、その数字がどんな質問から出てきたのかを、あまり考えなくなる。数の大きさは、正確さを上げるのではなく、疑いを消してしまうことがあります。

アンケートが俄然輝く使い方

では、アンケートは使えないのかというと、そんなことはありません。使い方によって、ずいぶん変わります。

自社のために、同じ問いを続けて取っていく場合は、役に立ちます。設計に歪みがあったとしても、毎回同じ設計であれば、歪み方も同じです。すると、絶対値は当てにならなくても、前回からどう動いたかは分かります。数字そのものより、変化を見る。この使い方であれば、自社の状態をつかむ道具として、十分に機能します。

一方で、その結果を外に向けて掲げ始めると、少し格好が悪くなります。「70%以上が、また買いたいと回答」という言い方は、少し考えれば設計次第でどうにでもなると分かるものを、根拠のように見せていることになるからです。自分たちのために使う分には役に立つ数字も、外向けの看板にすると、途端に別のものになってしまいます。

その数字は、どんな質問から出てきたのかを考える

最後に、今日からできることを一つ。

アンケートの数字を目にしたとき、自社のものでも他社のものでも、こう考えてみてください。「これは、どんな質問と、どんな選択肢から出てきた数字だろう」。

質問文と選択肢が思い浮かべば、その数字が何を表しているのかが分かります。思い浮かばないなら、その数字が何を意味しているのかは、まだ分からないということです。数字を疑うためではなく、その数字が答えられることと、答えられないことを見分けるためです。

話はわかったけれど、できれば相談しながら進めたい。

ためになりそうな記事は読んだけど、実際に進めるにあたり全体の流れがわからない。
できれば自社に合わせて具体的なアドバイスが欲しい、手伝って欲しいなど、
状況に合わせてサポートをいたします。お気軽にご相談ください。