第二章 概率空间
性质和定理
设 \((\Omega,\mathscr{F},\mathbb{P})\) 为概率空间, 有如下性质和定理成立.
可列可加性和次可加性
\(\forall~\{A_n\}\subset\mathscr{F}\), 有 \[\mathbb{P}\left(\bigcup_{n=1}^\infty A_n\right)\leqslant\sum\limits_{n=1}^\infty \mathbb{P}(A_n).\] 对于两两不相容的集合列 \(\{A_n\}\subset\mathscr{F}\), 有 \[\mathbb{P}\left(\bigcup_{n=1}^\infty A_n\right)=\sum\limits_{n=1}^\infty \mathbb{P}(A_n).\]
连续性
若事件 \(A_n\subset A_{n+1}\), \(n\geqslant 1\), 则 \[\mathbb{P}\left(\bigcup\limits_{n=1}^\infty A_n\right)=\lim\limits_{n\to\infty}\mathbb{P}(A_n).\] 若事件 \(A_n\supset A_{n+1}\), \(n\geqslant 1\), 则 \[\mathbb{P}\left(\bigcap\limits_{n=1}^\infty A_n\right)=\lim\limits_{n\to\infty}\mathbb{P}(A_n).\]
全概率公式
设 \(\{B_n\}\) 为 \(\Omega\) 的一个分割, 则 \[\mathbb{P}(A)=\sum\limits_n \mathbb{P}(B_n)\mathbb{P}(A|B_n),\quad\forall~A\in\mathscr{F}.\]
Bayes公式
设 \(\{B_n\}\) 为 \(\Omega\) 的一个分割, 对于 \(\forall~A\in\mathscr{F}\), 如果 \(\mathbb{P}(A)>0\), 则对于 \(\forall~1\leqslant k\leqslant n\), 有 \[\mathbb{P}(B_k|A)=\frac{\mathbb{P}(B_k)\mathbb{P}(A|B_k)}{\sum\limits_{n=1}^\infty \mathbb{P}(B_n)\mathbb{P}(A|B_n)}.\]
事件的独立性
若 \(\mathbb{P}(AB)=\mathbb{P}(A)\mathbb{P}(B)\), 则称 \(A\) 和 \(B\) 独立.
第三章 随机变量及其分布
正态分布
密度函数
\[\varphi_{a,\sigma}(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-a)^2}{2\sigma^2}},\quad a\in\mathbb{R},~\sigma>0;\]
分布函数
\[\Phi_{a,\sigma}(x)=\int\nolimits_{-\infty}^x \varphi_{a,\sigma}(t)dt;\]
标准正态分布
\[\varphi(x)=\varphi_{0,1}(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}};\]
正态分布的性质
\[\Phi_{a,\sigma}(x)=\Phi(\frac{x-a}{\sigma}),\quad \Phi(x)=1-\Phi(-x).\]
联合分布
联合分布函数
\[F(x_1,\cdots,x_n)=\mathbb{P}(\xi_1\leqslant x_1,\cdots,\xi_n\leqslant x_n);\]
联合密度函数
\[F(x_1,\cdots,x_n)=\int\cdots\int\nolimits_{\mathbf{R}^n}p(x_1,\cdots,x_n)dx_1\cdots dx_n;\]
边缘分布函数
\[F_1(x)=\lim\limits_{y\to\infty}F(x,y),\quad F_2(y)=\lim\limits_{x\to\infty}F(x,y);\]
边缘密度
- 离散情形: \[p_{i\bullet}=\sum\limits_j p_{ij},\quad p_{\bullet j}=\sum\limits_i p_{ij};\]
- 连续情形: \[p_1(x)=\int\nolimits_{-\infty}^\infty p(x,y)dy,\quad p_2(y)=\int\nolimits_{-\infty}^\infty p(x,y)dx;\]
随机变量的独立
联合密度等于边缘密度的乘积. 1. 离散情形: \[p_{ij}=p_{i\bullet}p_{\bullet j},\quad\forall~i,j;\] 2. 连续情形: \[p(x,y)=p_1(x)p_2(y);\] 若 \(\xi_1\) 与 \(\xi_2\) 独立, 则对于任何Borel可测函数 \(f_1\) 与 \(f_2\), \(\eta_1=f_1(\xi_1)\) 与 \(\eta_2=f_2(\xi_2)\) 独立.
随机变量函数的分布
分布函数
设 \(f(x_1,\cdots,x_n)\) 为 \(n\) 元Borel可测函数, \(p\) 为 \((\xi_1\cdots,\xi_n)\) 的密度函数, 则 \(\eta=f(\xi_1,\cdots,\xi_n)\) 的分布函数为 \[F_\eta(y)=\underset{f(x_1,\cdots,x_n)\leqslant y}{\int\cdots\int}p(x_1,\cdots,x_n)dx_1\cdots dx_n.\]
卷积公式
设 \((\xi,\eta)\) 的联合密度函数为 \(p\), 则 \(\xi+\eta\) 的密度函数为 \[p_{\xi+\eta}(z)=\int\nolimits_{-\infty}^\infty p(x,z-x)dx=\int\nolimits_{-\infty}^\infty p(z-y,y)dy.\]
商密度公式
设 \((\xi,\eta)\) 的联合密度为 \(p\), 则 \(\xi/\eta\) 的密度函数为 \[p_{\xi/\eta}(z)=\int\nolimits_{-\infty}^\infty |y|p(zy,y)dy.\]
高维情形
设 \(n\) 维随机向量 \(\xi\) 的联合密度为 \(p\), \(f_i(x)\) 为 \(n\) 维Borel可测函数, \(\eta=(f_1(\xi),\cdots,f_n(\xi))\). 若对于 \(\eta\) 的像空间 \(D\) 中任何一个 \(y\), 方程组 \(y_i=f_i(x)\)有唯一的可微解 \(x_i=h_i(y)\), 则 \(\eta\) 的联合密度函数为 \[q(y)==p(h_1(y),\cdots,h_n(y))|J|,\quad y\in D,\] 其中 \(J=\frac{\partial(h_1(y),\cdots,h_n(y))}{\partial (y_1,\cdots,y_2)}\) 为Jacobi行列式.
第四章 数字特征与特征函数
数学期望
定义: 简单随机变量 \(\mathbb{E}(\xi)=\sum\limits_{i=1}^n x_i\mathbb{P}(\xi=x_i)\rightarrow\) 非负随机变量用简单随机变量逼近 \(\mathbb{E}(\xi)=\lim\limits_{n\to\infty}\mathbb{E}(\xi_n)\rightarrow\), 一般随机变量 \(\mathbb{E}(\xi)=\mathbb{E}(\xi^+)-\mathbb{E}(\xi^-).\)
单调收敛定理
若 \(\xi_n\) 为非负随机变量, 且 \(\xi_n\uparrow\xi\), 则 \(\lim\limits_{n\to\infty}\mathbb{E}(\xi_n)=\mathbb{E}(\xi)\).
数学期望的性质
- 线性性质: \(\mathbb{E}(a\xi+b\eta)=a\mathbb{E}(\xi)+b\mathbb{E}(\eta)\);
- 若 \(\xi\) 与 \(\eta\) 独立, 则 \(\mathbb{E}(\xi\eta)=\mathbb{E}(\xi)\mathbb{E}(\eta).\)
数学期望的计算
- 离散型: \(\mathbb{E}(\xi)=\sum\limits_{k=1}^n x_kp_k\) 或 \(\mathbb{E}(\xi)=\sum\limits_{k=1}^\infty x_kp_k\);
- 连续型: \(\mathbb{E}(\xi)=\int\nolimits_{-\infty}^\infty xp(x)dx\).
条件期望
- 离散型: \(\mathbb{E}(\xi|\eta=y)=\sum\limits_{i=1}^n\mathbb{P}(\xi=x_i|\eta=y)\),
- 连续型: \(\mathbb{E}(\xi|\eta=y)=\int\nolimits_{-\infty}^\infty xp(x|\eta=y)dx\).
- 条件期望的平滑性: \(\mathbb{E}(\xi)=\mathbb{E}(\mathbb{E}(\xi|\eta))\).
方差
计算: \(D(\xi)=\mathbb{E}(\xi-\mathbb{E}(\xi))^2\); 协方差: \({\rm cov}(\xi_i,\xi_j)=\mathbb{E}((\xi_1-\mathbb{E}(\xi_1))(\xi_2-\mathbb{E}(\xi_2)))\). 容易证明协方差具有如下性质: \[D(\xi+\eta)=D(\eta)+D(\xi)\Longleftrightarrow {\rm cov}(\xi,\eta)=0,\] \[{\rm cov}(\xi_1+\xi_2,\eta)={\rm cov}(\xi_1,\eta)+{\rm cov}(\xi_2,\eta).\]
第五章 大数定律和中心极限定理
收敛性
几乎处处收敛
若 \(\mathbb{P}(\lim\limits_{n\to\infty}\xi_n=\xi)=1\), 则称 \(\xi_n\) 几乎处处收敛到 \(\xi\), 记作 \(\xi_n\xrightarrow{a.e.}\xi\).
依概率收敛
若 \(\lim\limits_{n\to\infty}\mathbb{P}(|\xi_n-\xi|\geqslant\epsilon)=0\), \(\forall~\epsilon>0\), 则称 \(\xi_n\) 依概率收敛于 \(\xi\), 记作 \(\xi_n\xrightarrow{\mathbb{P}}\xi\).
弱收敛
设 \(\xi_n\) 和 \(\xi\) 的分布函数分别为 \(F_n(x)\) 和 \(F(x)\), 若 \(\lim\limits_{n\to\infty}F_n(x)=F(x)\), \(\forall~x\in C_F\), 其中 \(C_F\) 为 \(F\) 的连续点全体, 则称 \(\xi_n\) 弱收敛于 \(\xi\), 记作 \(\xi_n\xrightarrow{w}\xi\).
\(r\) 阶矩收敛
给定 \(r>0\in\mathbb{R}\), 若 \(\xi\) 和 \(\xi_n\) 的 \(r\) 阶矩均存在, 并且 \(\lim\limits_{n\to\infty}\mathbb{E}(|\xi_n-\xi|^r)=0\), 则称 \(\xi_n\) \(r\) 阶矩收敛于 \(\xi\), 记作 \(\xi_n\xrightarrow{L_r}\xi\).
几种收敛的关系
\(\xi_n\xrightarrow{a.e.}\) 或 \(\xi_n\xrightarrow{L_r}\xi\Rightarrow\) \(\xi_n\xrightarrow{\mathbb{P}}\xi\Rightarrow\) \(\xi_n\xrightarrow{w}\xi\). 特别地, \(\forall~c\in\mathbb{R}\), \(\xi_n\xrightarrow{w} c\Rightarrow c_n\xrightarrow{\mathbb{P}} c\).
大数定律
大数定律
设 \(\xi_n\) 为数学期望均有限的随机变量列, 若:
\[\frac{1}{n}\sum\limits_{k=1}^n (\xi_k-\mathbb{E}(\xi_k))\xrightarrow{\mathbb{P}}0~,\] 则称 \(\xi_n\) 满足弱大数定律. \[\frac{1}{n}\sum\limits_{k=1}^n (\xi_k-\mathbb{E}(\xi_k))\xrightarrow{\text{a.e.}}0~,\] 则称 \(\xi_n\) 满足强大数定律.
Markov条件
设随机变量列 \(\xi_n\) 满足 \[\frac{1}{n^2}D\left(\sum\limits_{k=1}^n \xi_k\right)\xrightarrow{n\to\infty}0~,\] 则 \(\xi_n\) 满足大数定律.
Bernoulli大数定律
设 \(\mu_n\) 为 \(n\) 重Bernoulli试验中成功的次数, \(p\) 为单次成功概率, 则 \(\frac{\mu_n}{n}\xrightarrow{\mathbb{P}}p\).
辛钦大数定律
设 \(\xi_n\) 为独立同分布随机变量列, 弱大数定律成立的充要条件是 \(\mathbb{E}(\xi_1)=a\) 为有限实数.
Kolmogorov强大数定律
设 \(\{\xi_n\}\) 是独立随机变量列, 满足 \(\sum\limits_{k=1}^\infty \frac{D(\xi_n)}{n^2}<\infty\), 则 \(\{\xi_n\}\) 满足大数定律.