[통계학] #8.1 회귀분석 관련 증명들

시험 전에 혹여나 증명이 나올까봐 몇가지 증명을 적어보았다. 그리고 실제로 나왔다...

증명은 $\alpha = 0$인 경우에서 진행했다. $\alpha \neq 0$인 경우는 $x$자리에 $x-\bar{x}$를 대입해서 동일하게 유도하면 된다.

$\beta$ 관련 증명

최소제곱 회귀직선의 증명

편차의 제곱의 합을 $S$라 두면 $S=\sum\limits^n_{i=1} (y_i - \bar{y})^2$

 

$$\frac{\partial S}{\partial \beta} = -2 \sum \limits_{i=0}^n x_i (Y_i - \hat{\beta} x_i) = 0 $$

$$\therefore \hat{\beta} = \frac{\sum x_i Y_i}{\sum x_i ^2}$$

일반적인 경우 또한 편미분으로 풀 수 있다.

추정량의 기댓값과 분산

$ \hat{\beta} = \frac{\sum x_i Y_i}{\sum x_i ^2}$에서 $x$항들은 기댓값이나 분산에 무관함

$$\begin{aligned} E(\hat{\beta}) &= E(\frac{\sum x_i Y_i}{\sum x_i ^2})\\ &=  \frac{\sum x_i E( Y_i ) }{\sum x_i ^2} \\ &=  \sum \frac{ x_i  }{\sum x_i ^2} E( Y_i ) \\ &= \sum \frac{ x_i  }{\sum x_i ^2} E( \beta x_i ) \\ &= \beta \sum \frac{ x_i ^2  }{\sum x_i ^2}  \\ &=  \beta \end{aligned} $$

분산도 위와 같이 $x$항들은 분리해서 생각해주면 쉽게 계산할 수 있다.

설명력 관련 증명

$$\sum_{i=1}^n (y_i - \bar{y})^2 = \sum_{i=1}^n (\hat{y}_i - \bar{y})^2 + \sum_{i=1}^n (y_i - \hat{y}_i)^2$$

위 식을 증명하자. $2\sum (\hat{Y_i}-\bar{Y})(Y_i - \hat{Y_i} )=0$ 만 증명하면 된다.

$$ \begin{aligned} \sum (\hat{Y_i}-\bar{Y})(Y_i - \hat{Y_i} ) &= \sum (\hat{\beta} (x_i - \bar{x}))(\hat{e_i}) \\&= \hat{\beta} \sum (x_i - \bar{x})) (Y_i - \bar{Y}-\beta (x_i - \bar{x})) ) \\&= \hat{\beta} \sum  (x_i - \bar{x})) (Y_i - \bar{Y})- \beta (x_i - \bar{x})) (x_i - \bar{x})) )    \\&= S_{xY} - \frac{S_{xY}}{S_{xx}} S_{xx} = 0 \end{aligned} $$

이렇게 제곱합 분해를 증명할 수 있다.

 

시험에는 $\rho=0$의 검정와 $\beta = 0$의 검정을 유도하는 문제도 나왔다. 이는 실제로 검정 통계량을 $S_{xx}$, $S_{xy}$, $S_{yy}$로 분해한 뒤 정리만 하면 된다.