【統計学】標本平均が母平均の不偏推定量、不偏分散が母分散の不偏推定量であることの証明をわかりやすく解説!

医学部学士編入

不偏推定量に関しての理解は、教科書の文章を読むだけでは恐らく不十分だと思われます。標本平均が母平均の不偏推定量であり、不偏分散が母分散の不偏推定量であることの証明は、一度、自分の手で計算して確認しておきましょう。

不偏推定量の定義

【定義】母数θの推定量θ’に対し,

$$\small{E[\,θ’ \,] = θ}$$

を満たすとき、θ’をθの不偏推定量であると言います。

不偏推定量についての詳しい説明は、以下の記事を参照してください↓

【統計学】母集団の点推定 不偏分散 解説編
ここでは、母集団の点推定の分野を扱います。今回は解説編ですの...

問題1 \(E[ \,\overline{ X }\ ] = μ\) であることを示せ。

この問題は、言葉で言い換えると「標本平均 \(\overline{X}\) の期待値が、母平均 \(μ\) と一致することを示せ」ということであり、これを示せば標本平均が母平均の不偏推定量であると言えます。ここでのポイントは、以下の2つの期待値の公式を理解しているかどうかです。
$$\small{E[ aX ] = aE[ X ]}$$
$$\small{E[ X+Y ] = E[ X ]+E[ Y ]}$$

解答

母平均を \(μ\) とする同一の母集団から得られる、確率変数 \(X_1\) , … , \(X_n\) は、以下を満たす。

$$\small{E[ X_1 ] = E[ X_2 ] = E[ X_n] = μ}$$

また、これらの標本平均 \(\overline{ X }\) の期待値を計算すると、

\[\small
\begin{align}
E[ \overline{ X } ] &= E\left[ \frac{1}{n}(X_1+\cdots+X_n)\right ]\\
&= \frac{1}{n}E[ X_1+\cdots+X_n ]\\
&= \frac{1}{n}(E[X_1] + E[X_2] +\cdots+ E[X_n] )\\
&= \frac{1}{n}(μ +\cdots+ μ)\\
&= \frac{1}{n}\cdot nμ\\
&= μ
\end{align}
\]

よって、\(E[ \,\overline{ X }\ ] = μ\) であることから、\(\overline{ X }\) は母平均 \(μ\) の不偏推定量であることが示された。

問題2 \(E[ \,u^2 ] = σ^2\) であることを示せ。

この問題は、言葉で言い換えると「不偏分散 \(u^2\) の期待値が、母分散 \(σ^2\) と一致することを示せ」ということであり、これを示せば不偏分散が母分散の不偏推定量であると言えます。ここはあくまで n-1で割った不偏分散 \(u^2\) の期待値であって、nで割った標本分散 \(s^2\) の期待値ではないことに注意しましょう。また、ここでのポイントは、問題1で登場した2つの期待値の公式に加えて、分散の公式を理解しているかどうかです。
確率変数XとYが互いに独立のとき、以下の式が成立します。
$$\small{V[ aX + bY ] = a^2V[ X ] + b^2V[Y]}$$
ちなみに、以下の公式はXとYが互いに独立でなくとも成立します。
$$\small{E[ aX + bY ] = aE[ X ] + bE[ Y ]}$$

解答

母平均を \(μ\) 、母分散を \(σ^2\) とする同一の母集団から得られる、確率変数 \(X_1\) , … , \(X_n\) は互いに独立であるといえる。よって、\(i = 1,\cdots, n\) とすると以下を満たす。

$$\small{E[ X_i ] = μ}$$

$$\small{V[X_i]= E [(X_i – μ)^2] = σ^2}$$

次に、これらの不偏分散 \( u^2\) の期待値を計算すると、

\[\scriptsize
\begin{align}
E[\,u^2 ] &= E\left[ \frac{1}{n-1}\sum_{ i = 1 }^{ n }(X_i – \overline{X})^2\right ]\\
&= \frac{1}{n-1}\,E\left[ \sum_{ i = 1 }^{ n } \{ (X_i – μ) – (\overline{X} – μ)\}^2 \right ]\\
&= \frac{1}{n-1}\,E\left[ \sum_{ i = 1 }^{ n } \{ (X_i – μ)^2 – 2(X_i – μ)(\overline{X} – μ) + (X_i – μ)^2 \} \right ]\\
&= \frac{1}{n-1}\,E\left[ \sum_{ i = 1 }^{ n } (X_i – μ)^2 – 2(\overline{X} – μ)\sum_{ i = 1 }^{ n }(X_i – μ)+ (X_i – μ)^2\sum_{ i = 1 }^{ n } 1 \} \right ]\\
&= \frac{1}{n-1}\,E\left[ \sum_{ i = 1 }^{ n } (X_i – μ)^2 – n(\overline{X} – μ)^2 \right ]\\
&= \frac{1}{n-1}\,\left\{E\left[ \sum_{ i = 1 }^{ n } (X_i – μ)^2\right] – nE[(\overline{X} – μ)^2]\right\}\\
&=①
\end{align}
\]

上から4行目に関して、第2項、第3項は以下のことに注意して計算した。
$$\small{\sum_{ i = 1 }^{ n }(X_i – μ) = n\overline{X} – nμ}\,,\quad \sum_{ i = 1 }^{ n } 1 = n$$

①の第1項目に関して
\[\scriptsize
\begin{align}
E\left[ \sum_{ i = 1 }^{ n } (X_i – μ)^2 \right ] &= E\left[(X_1 – μ)^2 +\cdots+ (X_n – μ)^2\right ]\\
&= E\left[(X_1 – μ)^2\right]+\cdots+ E\left[(X_n – μ)^2\right ]\\
&= \sum_{ i = 1 }^{ n } E\left[(X_i – μ)^2 \right ]\\
&= \sum_{ i = 1 }^{ n } σ^2\\
&= nσ^2\\
&=②
\end{align}
\]

上から3行目に関して、分散の定義式 \(\small{V[X_i]= E [(X_i – μ)^2] = σ^2}\) を用いた。

①の第2項目に関して
確率変数 \(X\) と母平均 \(μ\) の偏差の2乗は、確率変数 \(X\) の分散を意味する。よって、標本平均 \(\overline{X}\) と母平均の偏差の2乗は、標本平均 \(\overline{X}\) の分散を意味するといえるので、
\[\small
\begin{align}
E[(\overline{X} – μ)^2] &= V[\overline{X}]\\
&= V\left[\frac{1}{n}(X_1 + \cdots + X_n)\right ]\\
&= \frac{1}{n^2}\left\{V[X_1] + \cdots + V[X_n]\right\}\\
&= \frac{1}{n^2}\left\{σ^2 + \cdots + σ^2\right\}\\
&= \frac{1}{n^2}\,nσ^2\\
&= \frac{σ^2}{n}\\
&=③
\end{align}
\]

2行目から3行目への変形は、確率変数 \( X_1 , \cdots , X_n\) が互いに独立であることから成立する。以上から、②③を①へ代入すると、

$$\small{E[\,u^2 ] = \frac{1}{n-1}( nσ^2 – n\cdot \frac{σ^2}{n})=σ^2}$$

よって、\(E[ \,u^2 ] = σ^2\) であることから、不偏分散 \(u^2\) は母分散 \(σ^2\) の不偏推定量であることが示された。

問題3 問題2の結果を用いて \(E[ \,s^2 ] = \frac{n-1}{n}σ^2\) であることを示せ。

問題2において、不偏分散 \(u^2\) の期待値は母分散 \(σ^2\)になることが証明されました。では、標本分散 \(s^2\)の期待値を計算するとどうなるのか。結果を先に言ってしまいますと、値は母分散よりも少し小さくなります。これが、標本分散をそのまま母分散の不偏推定量としては、使えない理由です。

解答

標本分散を \(s^2\)、不偏分散を \(u^2\) とおくと、

$$\scriptsize{ s^2 = \frac{1}{n}\sum_{ i = 1 }^{ n }(X_i – \overline{X})^2\,,\, u^2 = \frac{1}{n-1}\sum_{ i = 1 }^{ n }(X_i – \overline{X})^2}$$

$$\scriptsize{E[\,u^2]=E\left[ \frac{1}{n-1}\sum_{ i = 1 }^{ n } (X_i – μ)^2 \right ] = σ^2}$$であるから、

\[\small
\begin{align}
E[\,s^2 ] &= E\left[ \frac{1}{n}\sum_{ i = 1 }^{ n }(X_i – \overline{X})^2\right ]\\
&= E\left[ \frac{1}{n}\cdot\frac{n-1}{n-1}\sum_{ i = 1 }^{ n }(X_i – \overline{X})^2\right ]\\
&= \frac{n-1}{n}\,E\left[ \frac{1}{n-1}\sum_{ i = 1 }^{ n } (X_i – μ)^2 \right ]\\
&= \frac{n-1}{n}\,σ^2
\end{align}
\]

よって、n-1ではなく、nで割った標本分散 \(s^2\) の期待値は、母分散よりも少し小さくなる(\(\frac{n-1}{n}\)倍になる)ことが示された。

 

これで以下の母集団の点推定が理解が進むはずです↓

【統計学】母集団の点推定 不偏分散 解説編
ここでは、母集団の点推定の分野を扱います。今回は解説編ですの...

統計学 参考書

以下に、統計学を学ぶ上で参考になった教材をいくつか挙げておきます。

独習 統計学24講: 医療データの見方・使い方

式での計算過程は少し足りないと思いますが、文章で丁寧に説明されており理解が進みました。

 

スバラシク実力がつくと評判の統計学キャンパス・ゼミ―大学の数学がこんなに分かる!単位なんて楽に取れる!

計算でゴリゴリ証明してくれているので、根底から理解できます。

 

統計学がわかる (ファーストブック)

主人公がハンバーガーショップのバイトをしながら、身近な例を用いて統計学を学んで行きます。

 

統計学入門 (基礎統計学Ⅰ)

東京医科歯科大学の教養時代はこの教科書を用いて勉強していました。