一门我什么都没学会的课，只能回看一些定义、定理聊以自慰（
基本概念
\(\chi^2\) 分布
定义
设 \(X_1,\cdots,X_n\) 为来自 \(N(0,1)\) 的iid样本, 则称随机变量
\[\xi=\sum\limits_{i=1}^nX_i^2\]
所服从的分布为自由度为 \(n\) 的 \(\chi^2\) 分布, 记为 \(\xi\sim\chi^2(n)\).
性质
\(E\xi=n\), \({\rm Var}~\xi=2n\);
设 \(\xi\sim\chi^2(m)\), \(\eta\sim\chi^2(n)\), 且二者独立, 则 \(\xi+\eta\sim\chi^2(m+n)\);
\((n-1)S_n^2/\sigma^2\sim\chi^2(n-1)\).
\(t\) 分布
定义
设 \(\xi\sim N(0,1)\), \(\eta\sim\chi^2(n)\), 且 \(\xi\), \(\eta\) 相互独立, 则称随机变量
\[T=\frac{\xi}{\sqrt{\eta/n}}\]
服从自由度为 \(n\) 的 \(t\) 分布, 记为 \(T\sim t(n)\).
性质
设 \(\xi\sim t(n)\), \(n>2\), 则 \(E\xi=0\), \({\rm Var}~\xi=\frac{n}{n-2}\);
\(t(1)\) 分布为Cauchy分布, 期望不存在;
\(\frac{\sqrt{n}(\overline{X}-\mu)}{S}\sim t(n-1)\) ;
\(F\) 分布
定义
设 \(\xi,\eta\) 是自由度分别为 \(m,n\) 的独立的 \(\chi^2\) 随机变量, 则称随机变量
\[F=\frac{\xi/m}{\eta/n}\]
服从自由度为 \((m,n)\) 的 \(F\) 分布, 记为 \(F\sim F(m,n)\).
性质
- \(X\sim F(m,n) \Longleftrightarrow \frac{1}{X}\sim F(n,m)\).
\(\Gamma\) 分布族
定义
PDF 为 \[\Gamma(x;\alpha,\lambda)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},\quad x>0\] 的分布称为 \(\Gamma\) 分布, 记作 \(\Gamma(\alpha,\lambda)\).
性质
\(\Gamma(\frac{n}{2},\frac{1}{2})=\chi^2(n)\);
\(\Gamma(1,\lambda)=E(\lambda)\), PDF 为 \(f(x)=\lambda e^{-\lambda x},~x>0\);
\(\xi\sim\Gamma(\alpha_1,\lambda)\), \(\eta\sim\Gamma(\alpha_2,\lambda)\), \(\eta\) 与 \(\xi\) 独立 \(\Rightarrow\) \(\xi+\eta\sim\Gamma(\alpha_1+\alpha_2,\lambda)\);
\(\xi\sim\Gamma(\alpha,\lambda)\), \(k>0\in\mathbb{R}\) \(\Rightarrow\) \(\xi/k\sim\Gamma(\alpha,k\lambda)\).
充分统计量
因子分解定理
定理 对于参数分布族 \[\mathcal{F}=\{f_\theta(x):\theta\in\Theta\},\] 设 \(X_1,\cdots,X_n\) 是其中一组iid样本, \(T\) 是一统计量, 且其样本分布 \(f_\theta\) 满足 \[f_\theta(x_1,\cdots,x_n)=g_\theta(T(x_1,\cdots,x_n))\cdot h(x_1,\cdots,x_n),\] 其中 \(h(x)\) 不依赖于 \(\theta\).
常见的充分统计量
均匀分布 \(U(0,\theta)\) 中 , \(X_{(n)}\) 为 \(\theta\) 的充分统计量;
正态分布 \(N(\mu,\sigma^2)\) 中, \((\overline{X},\sum\limits_{i=1}^n (X_i-\overline{X})^2)\) 为 \((\mu,\sigma^2)\) 的充分统计量;
均匀分布 \(U(-\frac{1}{2}+\theta, \frac{1}{2}+\theta)\) 中, \((X_{(1)},X_{(n)})\) 为 \(\theta\) 的充分统计量.
点估计
矩估计
矩估计
对于样本 \(X_1,\cdots,X_n\) 和 \(k\in\mathbb{N}\), 称 \[a_k=\frac{1}{n}\sum\limits_{i=1}^n X_i^k,\quad m_k=\frac{1}{n}\sum\limits_{i=1}^n (X_i-\overline{X})^k\] 为 \(k\) 阶中心矩和 \(k\) 阶原点矩.
而总体的原点矩和中心矩分别为 \[\mu_k=\mathbb{E}X^k,\quad \nu_k=\mathbb{E}(X-\mu_1)^k\]
矩估计就是用样本矩来估计总体矩, 即令 \(a_k=\mu_k\), \(m_k=\nu_k\).
几个矩估计的例子
总体均值和总体方差: \[\hat{\mu}=\overline{X},\quad \hat{\sigma}^2=\frac{n-1}{n}S_n^2;\]
正态分布 \(U(0,\theta)\) 中, \(\theta\) 的矩估计为 \(\hat{\theta}=2\overline{X}\);