Tweet

以前、ビックデータ時代だからこそスモールデータの手法の理解も大事というエントリを投稿しました。

で、自分はあまりテレビを見ないのですが、たまたまCNNによる世論調査で1000名を対象に米国時期大統領トランプ氏を支持するかしないかについて、世論調査したところ以前オバマ氏が81%のところ40%で支持率が低いという報道でした。

あらかじめ言うと、自分はこの結果に、とく賛成・反対はありません。むしろ、純粋にデータサイエンス的にこれが有意かどうか純粋に興味があります。

一番、確実なアプローチは、米国民３．１８９億人に賛成か反対かを問うこと。いわゆる、ビックデータのアプローチ。ただ、これが本当にできるかといえば意外と難しい気がする。１１月の大統領選挙でも、多くのメディアがヒラリー氏優先と伝えたものの、蓋を開けたら違う結果になったように、”ビックデータ”で解決できる話でないと思う。

となると、やっぱり、母集団からサンプリングして、そのサンプルから母集団を推定するというアプローチが妥当で、統計の世界では、サンプルの許容誤差という考え方があります。一般的には誤差５％つまり１００のうち９５が正しくて５が誤ると想定すると、許容誤差のサンプル数は(正規分布の5%信頼水準 1.96)^2 x (支持率 0.5ｘ非支持率 0.5)/(標本誤差 0.05)^2 = 384、つまり、384人にアンケートを取れば、理論上、許容誤差に収まる、なので、1000人は許容誤差の範囲といえるかもしれない。

ただ、この5％の許容誤差を1％にすると、(正規分布の5%信頼水準 2.58)^2 x (支持率 0.5ｘ非支持率 0.5)/(標本誤差 0.01)^2 = 16,641人、384人くらべて43倍のサンプル数が必要になる。

というわけで、ここから何がいえるか？この許容誤差の5%というのは、完全無作為に抽出する前提であれば成立するかもしれない。ただ、ただでさえ、CNNはトランプ氏から”うそのメディア”というレッテルを貼れて、質疑を拒否されたほど対立関係にあるので、もしかしたら、何かしらのバイアスがかかって”完全無作為”とはなっていないかもしれない。

というわけで、この精度をあげるには、１．CNNとは独立な機関によってサンプル抽出する、もしくは、２．許容誤差を5%から下げる、ともう少し尤もらしくなると思うのでした。

Tweet

最近思うこと、同じ”理系”であっても、理学と工学は結構違う。

理学の代表は物理、数学で、世の中の真理・法則を探求することだと思う。たとえば、宇宙はいつできたか、とてつもなく難しい問題だけど、ある仮説を提示して、その仮説を裏付ける様々な状況証拠を一つ一つ積み上げながら、ロジックをくみたてて、証明する。コンサルタントに理学部出身が比較的多いのも、フィールドが違えど、ロジックを組み立てて、仮説を検証するという点では、やってることは結局同じなのかもしれない。

一方、工学の場合は、どちらかというと、”こんなん、作りました”というアプローチ。たとえば、ロボット作るという場合、もちろん、仮説を立てて、それを証明するのも大事だけど、それ以上に、失敗を恐れず、ひたすら、改良に改良を重ねて、誰も作っていないものを作る。何もないところから、新しいものを生みだす、そういう点だと、ベンチャー企業経営に近いかもしれない。

最近思うことは、理学的な分析思考がパーフェクトながらも、工学的なフロンティアマインドを持ち合わせている人は、ほとんどいないということ。そう、一人ではできない、だから、チームを作って、それぞれの特性を引き出す。当たり前なんだけど、その当たり前の大事さを気づきました。