サンプルデータから母集団に対する予測が正しかどうかを統計的に判断する手法のことを統計的仮説検定と言います。以下では具体例を交えながら仮説検定の概観について説明します。

概要

あるコインが裏表、等確率で出る歪みのないコインかどうかを５回投げることで調べることを考えよう。（以下等確率のコインと呼ぶ）

実際に投げてみて５回すべて裏だった場合を考えます。
この時多くの人が、このコインが裏の出やすいコインだったため裏が５回続いたと考え、このコインは等確率のコインではないと考えるでしょう。
そのように考える過程を考えてみましょう。
コインは等確率かそうでないかの二通り考えられます
１．まずコインが歪みのない等確率のコインだった場合。
　5回すべてが裏となることは起こりうるが確率的には低い確率。
２．歪みがあり等確率でない場合
　裏が出やすいコインの場合、５回すべて裏になりやすい。

上記１と２を比較し２の方であると判断します。

統計的仮説検定では上記のような考え方を統計的に行います。

検定方法

では具体的にどのように行うか、上記の例を用いて説明します。
裏が５回続いて出たのでこのコインは等確率のコインではないという仮説を立てます。これを対立仮説と呼びます。
それに対して、等確率のコインだという仮説を帰無仮説と呼びます。

統計的仮説検定では以下のように、帰無仮説を否定し、対立仮説が正しいことを示します。

１．帰無仮説においてその事象の発生確率を求める。
（上記例では事象とは裏が5回続くということ）
２．その発生確率が小さい場合、帰無仮説の元ではその事象は起きにくいと考えられる。小さいかを判定する基準となるものを有意水準とよぶ。
３．対立仮説が正しいため、帰無仮説の元では起こりにくかったと考え、対立仮説が正しいと考える。

実際に上記の例で考えてみよう（有意水準は0.05とする）。
１．帰無仮説のもとで裏が5回続く確率は３%程度になります。
　 \frac{1}{2^5} = 0.0312...
２．有意水準0.05より小さいので裏が5回続くことは
　　帰無仮説の元では起きにくいと考えられます。
３．本来は対立仮説が正しいと判断します。
よってコインは等確率ではないと判断されます。

最後に

平均値差、独立性の検定等様々な仮説検定が使われていますが、
どれも考え方はこの考え方を用いて行っています。
また別の記事で他の手法については紹介します。