ビッグデータで人間を理解しても予測ができるとは限らない

さて、最後に私がこのコラムの冒頭で提示した消費者に関する大量のデータがあれば、マーケティング活動の精度を高めることができるのか？という問いに対する私の解釈を示していきたいと思います。

マーケティングは消費者の未来の行動をつくるものです。それでは消費者を理解する膨大なデータがあれば、消費者の未来の行動は予測できるのでしょうか。この問いに対して、カーネマンが紹介している事例の中でとりわけ印象深いものがあります。それは、マーケティングと同様の実際の「人々の解像度が高い情報」を持って、未来の行動を予測可能かどうか、という試みについてです。

これは実際に収集されたある家庭に関する研究でした。これは2020年にプリンストン大学の社会学の教授が、1998年から2000年までに米の20万人以上の都市で生まれた5000人の子供たちの15歳までにフォローした子供の大量の情報を使って、子供が15歳になったときの6項目について実際に予測ができるかどうか、というものです。

この研究では祖父母の教育水準と職業、家族全員の健康状態、家庭の経済・社会状態をはじめ、対面調査だけでなく認知能力および性格テストの結果にいたるまで数千項目にのぼる膨大な情報を含んでおり、プリンストン大のチームはこの情報を使って、各国の研究者に対して予測精度を競うコンペティションを開催したわけです。これをマーケティングになぞらえれば、顧客の解像度の高いビッグデータを使って、どれだけ未来の行動予測ができるかどうか、というものになるかと言えます。

このコンペには160以上のチームが参加し、データサイエンティストが高度な機械学習アルゴリズムを駆使して予測しましたが、結果から言うと、最も優秀なアルゴリズムでも相関係数はわずか0.22でした。（一般的に相関係数は１に近づくほど高いと言われていますが、0.3未満はほぼ無関係といわれています）ただし、カーネマンによればこのような社会科学における25,000件の調査研究（対象は800万人以上、期間は100年）では、「予測の平均的な相関係数は0.21」ということで珍しい数字ではないということです。

この数値を聞いても「社会学研究が一般的にそういうもので、顧客の行動や予測とは違うと」考える方もいるかと思います。しかし、カーネマンは論文に添えられたコメントをもとにこう評しています。「研究者たちは・・これでこの家庭の理解が深まったと感じたに違いない。だが理解したはずの家庭に関する将来予測の精度は、この感触に釣り合わないほど低かった。」

このような経験はどんなマーケターにもあるかと思います。マーケターがいくつもの調査を通して顧客を理解した、膨大なデータを収集して彼らを理解したといくら確信したとしても、彼らの行動を予測できるほどマーケティングの精度が高いことを保証しません。これにはふたつ理由があります。

ひとつは、カーネマンが指摘している通り、いくら膨大な情報があるからといって、すべてを把握できているとは限らず、そこにはまだ知らない情報があり得るということです。そしてもうひとつは、その知らない情報において行動を予測できるような相関関係、そしてその背後にある因果関係を理解していないために、予測が出来ないということです。機械学習のアルゴリズムにたとえていえば、予測精度を高められるような予測変数がその情報には含まれていなかったということです。

人間の判断に潜む隠れたノイズと無知に注意する

カーネマンは、この事例においては、バイアスやノイズという問題ではなく、自分たちが判断する際には「客観的な無知」が存在することで予測の精度が下がることを指摘しています。この無知は調べればわかったかもしれないような情報の不完全性とは区別された、ある不確実性に対する無知です。かつて『ブラックスワン』のなかでナシーム・ニコラス・タレブは、このような種類の情報を「known unknown（存在はわかっているが未知なもの）」に対して、「unknown unknown」（存在するかもわからない、未知なもの）という言い方で説明していました。このような「知り得ない情報」に対する過小評価は、ノイズに対して人間が抱くものと同じとして警告します。つまり、どちらも人間が判断するときにはほとんど無視され、実際の予測の精度からすると、常に人間の判断は自信過剰であるということです。

私たちマーケターも目に見えにくいノイズの除去はAIに頼れるとしても、「客観的な無知」に対してはまだまだ無防備で自信過剰になりがちです。特にデータが多く揃っていると思いがちなデジタルマーケティングにおいては特に注意が必要かと思います。