「間違う確率」と「間違っている確率」

「間違う確率」と「間違っている確率」は違うという話をしましたが、もう少し補足しておきましょう。

昨日書いたとおり危険率が５％というのは、本当は関連がないときに「関連がある」と判断してしまう確率のことで、たとえば本当に関連がない事態に１００回出くわしたときに９５回は「関連なし」と判定するけれど、あとの５回は「関連あり」と判定してしまうことを意味します。表にすると次のようになります。

　　　本当＼判定｜「関連あり」　「関連なし」
　―――――――――――――――――――
　　　関連あり　　｜　　ア　　　　　　　イ
　　　関連なし　　｜　５回　　　　　　95回

さてこのとき、判断が「間違っている」確率はどうかというと、実はこれだけの情報ではさっぱり分かりません。たとえば、「関連あり」という判定をしたのに本当は関連がなかった、という確率は表のアの値が分からないと求めることができません。同様に「関連なし」という判定が間違っている確率もイの値が分からないと分かりません。

ここで、「本当に関連がある事態というのは関連がない事態よりもずっと少なくて５分の１の確率でしか遭遇しない」「本当に関連があるときの検出力は９０％だ」といった追加情報があったとしましょう。
そうすると、本当に関連がある事態は関連がない事態に１００回遭遇するあいだに２０回遭遇すると推定できます。そしてそのうち１８回は正しく「関連がある」と判定され、２回は「関連がない」と判定されるであろうことも分かります。このとき、上の表は

　　　本当＼判定｜「関連あり」　「関連なし」
　―――――――――――――――――――
　　　関連あり　　｜　　18回　　　　  　２回
　　　関連なし　　｜ 　　５回　　　　　 95回

となりますので、今度は判定が「間違っている」確率が求まります。すなわち、

　　　「関連あり」の判定が間違っている確率＝5/23　（約22%）
　　　「関連なし」の判定が間違っている確率＝2/97　（約2%）

となります。このように「間違う確率」と「間違っている確率」は全く別物で、特に「関連あり」の判定の方はかなりあてにならないものだということが分かります。