なぜ有意水準で5%が使われるかについて、今日的な統計学を確立したFisherが1929年に書いている文章があります。
以下引用し翻訳をしておきます。
”In the investigation of living beings by biological methods, statistical tests of significance are essential. Their function is to prevent us being deceived by accidental occurrences due not to the causes we wish to study or are trying to detect but to a combination of the many other circumstances which we cannot control. As observation is judged significant if it would rarely have been produced in the absence of a real cause of the kind we are seeking. It is a common practice to judge a result significant if it is of such a magnitude that it would have been produced by chance not more frequently than once in twenty trials. This is an arbitrary but convenient level of significance for the practical investigator, but it does not mean that he allows himself to be deceived once in every twenty experiments. The test of significance only tells him what to ignore, namely all experiments in which significant results are not obtained."
（生物学的な方法によって生き物を研究する際に、有意性検定は不可欠である。有意性検定は、我々が研究したり検出したりしたい原因からもたらされたものではなく、コントロールできない多くのその他の状況の組み合わせによってもたらされた偶然的な出来事に騙されないようにするために役立つ。もし私たちが観察しているものが、我々が求めている真の原因が存在しないとしたら、めったに発生しなかったであろうものならば、それは有意であると判断される。もしその結果が発生することが偶然によっては20回に1回よりも多く発生しなかったであろうというほどのものならば、その結果を有意と判断するのは一般的な方法である。これは実践的な研究者にとって恣意的だが便利な水準である。とはいえこれは、研究者が20回の実験ごとに1回ずつ騙されるということを意味するわけではない。有意性の検定は何を無視すれば良いかを教えてくれる。すなわち、有意な結果が得られなかった実験を無視すれば良いのである。）
「恣意的だが便利な水準」として言及しています。有意水準5%というのは、絶対的な水準というよりは、当時の「実践的な研究者」のコミュニティのなかで経験的に妥当な水準として認識され、その認識がそのコミュニティの中で「一般的な方法」として社会的に形成されたものとして理解するとよさそうですね。
Source: Fisher, Ronald A.(1929), "The Statistical Methods in Psychical Research," Proceedings of the Society for Psychical Research, 39, 189-192.
Link: https://digital.library.adelaide.edu.au/dspace/bitstream/2440/15204/1/79.pdf
