Normal distribution

本blog总结单变量正态分布以及多元正态分布和他们的性质。

单变量正态分布

概率密度函数：

$$p(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{ -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right\}$$

期望$\mu$和方差$\sigma^2$：

$$\mu = E\{x\}=\int_{-\infty}^{\infty}xp(x)dx \\ \sigma^2=\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx$$

多元正态分布

概率密度函数：

$$p(x)=\frac{1}{(x\pi)^{d/2}|\Sigma|^{1/2}}\exp\left\{ -\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right\}$$

• $x=[x_1,x_2,…,x_d]^T$ 是d维向量
• $\mu=[\mu_1,\mu_2,…,\mu_d]^T$是d维均值向量
• $\Sigma$是dxd维协方差矩阵

$
\mu=E\{x\} \\
\Sigma=E\{(x-\mu)(x-\mu)^T\}
$
$\mu$，$\Sigma$分别是向量$x$和矩阵$(x-\mu)(x-\mu)^T$的期望，若$x_i$是$x$的第$i$个个分量，$\mu_i$是$\mu$的第$i$个分量，$\sigma_{ij}$是$\Sigma$的第$i,j$个元素，则

$$\mu_i=E\{x_i\}=\int_{E^d}x_ip(x)dx=-\int_{-\infty}^{\infty}x_ip(x)dx_i$$

其中，$p(x_i)$为边缘分布

$$p(x_i)=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}p(x)dx_1dx_2...dx_{x-1}dx_{i+1}...dx_d$$

而

$$\begin{equation} \begin{split} \sigma_{ij}&=E[(x_i-\mu_i)(x_j-\mu_j)] \\ &=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}(x_i-\mu_i)(x_j-\mu_j)p(x_i,x_j)dx_idx_j \end{split} \end{equation}$$

协方差矩阵总是正定or半正定的矩阵，可以表示为

$$\Sigma = \left[\begin{matrix} \sigma_{11} & \sigma_{12} & \dots & \sigma_{1d} \\ \sigma_{21} & \sigma_{22} & \dots & \sigma_{2d} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{2d} & \sigma_{2d} & \dots & \sigma_{dd} \\ \end{matrix}\right]$$

多元分布性质

多元正态分布被均值向量$\mu$和协方差矩阵$\Sigma$所完全决定。

$$p(x)\sim N(\mu,\Sigma)$$

等密度点的轨迹为以超椭球面，区域中心由均值向量$\mu$决定，区域的大小由协方差矩阵$\Sigma$决定。当指数项为常数时，构成等密度点：

$$(x-\mu)^T\Sigma^{-1}(x-\mu)=C$$

该式子的解是一个超椭球面，且它的主轴方向由$\Sigma$阵的特征向量决定，主轴长度与相应的协方差矩阵$\Sigma$的特征值成正比。

$$\gamma^2=(x-\mu)^T\Sigma^{-1}(x-\mu)$$

称为由$x$到$\mu$的Mahalanobis距离（马氏距离）的平方，对应于Mahalanobis距离为$\gamma$的超椭圆球体积是

$$V=V_d|\Sigma|^{\frac{1}{2}}\gamma^d$$

其中$V_d$是$d$维单位超球体的体积，

$$V_d= \begin{equation} \left\{ \begin{array}{lc} \frac{\pi^{d/2}}{\left( \frac{d}{2} \right)!} & d为偶数\\ \frac{2^d\pi^{(d-1)/2}\left( \frac{d-1}{2} \right)!}{d!} & d为奇数 \end{array} \right. \end{equation}$$

对于给定的维数，样本离散度直接随$|\Sigma|^{1/2}$而变。

不相关性=独立性

• 不相关：$E\{x_ix_j\}=E\{x_i\}E\{x-j\}$
• 独立的：$p\{x_ix_j\}=p\{x_i\}p\{x_j\}$

独立性比不相关性条件更强，而在多元正态分布中，两者等价。在正态分布中，变量互不相关，则一定独立。

推论：如果多元正态随机向量的协方差矩阵是对角阵，则x的分量是相互独立的正态分布随机变量。

边缘分布和条件分布的正态性

以二元正态分布为例，

• 向量$x=[x_1,x_2]^T$
• 均值$\mu=[\mu_1,\mu_2]^T$
• 协方差矩阵$\Sigma=\left[\begin{matrix}\sigma_{11}^2&\sigma_{12}^2\\\sigma_{21}^2&\sigma_{22}^2\end{matrix}\right]$

$$p(x_1)\sim N(\mu_1,\sigma_{11}^2) \\ p(x_2)\sim N(\mu_1,\sigma_{22}^2)$$

线性变换的正态性

对于多元正态随机变量$x$，无论是线性变化$y=Ax$还是线性组合$y=\alpha^Tx$，正态分布依然是正态分布。

$$p(y)\sim N(A\mu,A\Sigma A^T) p(y)\sim N(\alpha^T\mu,\alpha^T\Sigma\alpha)$$