なぜ正確に0.05なのか

有意水準を5%としたのは、統計学者のRonald A. Fisher (1890 – 1962) の功績によるものとされています。 フィッシャーは、近代的な研究方法と統計解析の創始者の一人です。 彼の手法は農業研究と遺伝学のために開発されましたが、その後、さまざまな分野で応用されています。

1925年に出版された「Statistical methods for research workers」の中で、フィッシャーは有意水準を5%に設定することが適切であると述べています(3)。 “

p値が0.05以下であることや、後の研究でこの値が重要視されるようになったのは、ロナルド・A・フィッシャーが多かれ少なかれ無作為に有意水準5%を選んだからではないかという印象を受けます。 もし彼が2％、7％、10％を選択していたら、今日の医学研究や臨床は違ったものになっていたでしょうか。

ロナルド・A・フィッシャーが試験法や統計学の発展に大きな影響を与えたことは間違いありませんが、この5%という選択をすべて彼の功績（または責任）とするのは単純なことです。

Cowles & Davis (5)は、なぜフィッシャーが有意水準として5%を選んだのかを調査しました。 彼らは、フィッシャーがすでに確立された概念を利用しただけだと考えています。 近代統計学のもう一人の創始者であるカール・ピアソン(Karl Pearson, 1857 – 1936)は、データが数学的な確率分布にどれだけ適合するかを評価する方法を開発しましたが、これはクロス集計でよく使われるカイ二乗検定の基礎の一部です。 彼は、10%の確率(すなわちp=0.1)であれば、観測されたデータがランダムである可能性は低くなく、さらに1%の確率(すなわちp=0.01)であれば、観測されたデータがランダムな変動によるものである可能性は極めて低いと主張しました。 この両極端の間の適切なポイントは5%です。 t 検定を開発した William Gosset (1876 – 1937) も、他の統計数学的な用語で表現していますが、有意水準の自然な選択として 5 % を提案しています (4, 5)。

Cowles と Davis は、推奨される有意水準の歴史的な調査に触発されて、直感的で自然な有意水準があるかどうかを調査しました (6)。 当初の仮定、すなわち帰無仮説が真実ではないと認識するためには、ある事象が予想に比べてどのくらいの頻度で発生しなければならないのでしょうか？ 彼らは簡単な例を挙げています。 あなたとあなたの同僚は、昼食時にどちらがコーヒーをおごるかを決めるためにコインを投げましたが、毎日負け続けています。 あなたの負けが偶然ではないと疑い始めるまで、あなたは何日間、同僚にコーヒーを買い続ける覚悟ができますか？ 多くの人は、4日（p = 0.0625）または5日（p = 0.03125）は受け入れる覚悟があると思いますが、10日連続で負けてコーヒー代を払わなければならない場合、偶然だけが関係していると受け入れる人は少ないと思います（p < 0.001）。

これを体系的に調べるために、彼らは心理学的な実験を開発しました（6）。 ボランティアは、ギャンブルゲームに参加しました。 3つのカップが目の前に置かれ、そのうちの1つに小さな赤いボタンが隠されていると告げられました。 正しいカップを選べば、お金を手に入れることができる。

参加者にとって、直感的な帰無仮説は、ゲームの各ラウンドで正しいカップを推測する確率は3分の1であるというものでした。

参加者にとって、直感的な帰無仮説とは、各ラウンドで正しいカップを当てる確率が3分の1であるということです。 つまり，直感的な帰無仮説は真実ではなかったのである。 実験の目的は，参加者が何回ゲームを繰り返すと，何かが間違っていると疑い始め，帰無仮説を疑うようになるかを調べることであった． その結果、6回の繰り返し負けた時点で半数以上（p=0.088）、8回の繰り返し負けた時点で9割近く（p=0.039）の人が疑うようになりました。 この実験から、多くの人が自然と直感的に有意水準5 %程度を選択することがわかりました

。