统计分布

一、抽样分布定义统计量的分布称为抽样分布 (sampling distribution)。在使用统计量进行统计推断时需要知道抽样分布。一般情况下,要给出统计量的精确分布是很困难的,但在某些特殊情形下,如总体服从正态分布的情形下,我们可以给出某些统计量的精确分布,这些精确的抽样分布为正态总体情形下的参数推断提供了理论依据。在数理统计中,最重要的三个抽样分布为 $\chi^{2}$ 分布,$t$ 分布和 $F$ 分布。二、$\chi^2$ 分布1、$\chi^2$ 分布的定义设 $X_1,X_2,\cdots,X_n$ 为独立同分布的随机变量,且都服从标准正…
统计量

一、统计量的定义设 $X_1,X_2,\cdots,X_n$ 是来自总体 $X$ 的一个样本,$g(X_1,X_2,\cdots ,X_n)$ 是样本 $X_1,X_2,\cdots,X_n$ 的函数,若$g$不含未知参数,则称 $g(X_1,X_2,\cdots,X_n$)是一统计量。二、常用统计量在统计学中,根据不同的目的可以构造出许多不同的统计量,下面是几个常用的重要统计量:样本均值$$ \overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i $$样本方差$$ S^2 = \frac{1}{n-1} \sum_{…
中心极限定理

一、林德伯格-莱维中心极限定理 (Lindeberg-Lévy CLT)1、定理内容设${X_n}$是独立同分布的随机变量序列,且满足:期望存在:$E[X_k] = \mu < \infty$方差存在:$Var(X_k) = \sigma^2 < \infty$ ($\sigma > 0$)则对于部分和$S_n = \sum_{k=1}^n X_k$,有标准化随机变量:$$ Z_n = \frac{S_n - n\mu}{\sigma\sqrt{n}} = \frac{\overline{X}_n - \mu}{\sigma/\sqrt…
各类积分的定义及表达

一、不定积分(Indefinite Integral)数学定义:$$ \int f(x)\,\mathrm{d}x = F(x) + C,\quad \text{其中 } F'(x) = f(x) $$通俗解释: 找到一个函数,其导数为已知函数 $f(x)$,即反导数。二、定积分(Definite Integral)数学定义:$$ \int_a^b f(x)\,\mathrm{d}x = \lim_{n \to \infty} \sum_{i=1}^{n} f(x_i^*) \Delta x_i $$通俗解释: 表示函数图像与 $x$ 轴之间在…
常微分方程求解(3)

本篇文章讨论几种特殊形式的二阶微分方程,他们可以经过适当的变量替换降阶为一阶微分方程,称为可降阶的二阶微分方程,这里所用的一些处理方法,对于高阶方程也适用。下面讨论三种情况下的求解方法。一、$\frac{\mathrm{d}^2y}{\mathrm{d}x^2}=f(x)$型的微分方程对于标题指出的这类方程,只需积分两次,就能求得解。积分一次得到:$$ \frac{\mathrm{d}y}{\mathrm{d}x}=\int f(x)\mathrm{d}x+c_1 $$再积分一次得到:$$ \begin{aligned}y&=\int\left[…
大数定律及相关概率不等式与收敛概念

一、依概率收敛(Convergence in Probability)严谨定义:设 $\{X_n\}$ 是一列随机变量,$X$ 是某个随机变量。如果对任意的 $\varepsilon > 0$,都有$$ \lim_{n \to \infty} P(|X_n - X| > \varepsilon) = 0, $$则称 $X_n$ 依概率收敛于 $X$,记作 $X_n \xrightarrow{P} X$。通俗解释:依概率收敛意味着:当 $n$ 越来越大时,$X_n$ 跟 $X$ 越来越“接近”的概率越来越大。虽然每个 $X_n$ 本身是随机的,…
线性微分方程解的一般理论

一、线性微分方程1、方程形式我们将未知函数 $y$ 及其导数 $\frac{\mathrm{d}y}{\mathrm{d}x}, \cdots, \frac{\mathrm{d}^ny}{\mathrm{d}x^n}$ 是一次式的 $n$ 阶微分方程,称为线性微分方程。这是在应用中经常遇到的一类方程,其一般形式是:$$ \frac{\mathrm{d}^ny}{\mathrm{d}x^n} + p_1(x) \frac{\mathrm{d}^{n-1}y}{\mathrm{d}x^{n-1}} + \cdots + p_{n-1}(x) \frac{\m…
常微分方程求解(2)

一、全微分方程定义与性质我们将一阶方程改写为对称的形式:$$ M(x, y)\mathrm{d}x + N(x, y)\mathrm{d}y = 0 $$如果上式的左边恰好是某一个二元函数 $u(x, y)$ 的全微分,即:$$ M(x, y)\mathrm{d}x + N(x, y)\mathrm{d}y = \mathrm{d}u(x, y) $$则称之为全微分方程,$u(x, y)$ 称为它的一个原函数。设 $y = y(x)$ 是全微分方程的一个解,且 $y(x_0) = y_0$。则:$$ M(x, y(x)) \mathrm{d}x + N(…
常微分方程求解(1)

一般,在一个(组)方程中,如果未知量是一个(组)函数,而且该方程中含有此未知函数的导数,则称这种方程为微分方程(组),如果在微分方程里,出现的未知函数是单个自变量的函数,我们称这一类微分方程为常微分方程。下面通过几篇文章,推导各种常微分方程的求解方法。一、可分离变量方程我们首先讨论已解出导数的一阶微分方程的一种特殊形式$$ \frac{\mathrm{d}y}{\mathrm{d}x}=\varphi(x)\psi(y) $$的方程,其特点是,方程右边是一个$x$的函数与一个$y$的函数的乘积,我们称这类方程为可分离变量的微分方程。设$\varphi(x…
协方差和相关系数

一、协方差1、协方差的定义回想数学期望的性质之一,对于相互独立的随机变量$X$和$Y$,当其数学期望都存在时,有$E(XY)=E(X)E(Y)$,而此式等价于:$$ E[(X-E(X))(Y-E(Y))]= 0\ $$那么当$E[(X-E(X))(Y-E(Y))]\neq0$时,$X$和$Y$一定不独立,也就是它们之间存在某种相依关系。因此我们认为$E[(X-E(X))(Y-E(Y))]$可以在一定程度上反映出$X$和$Y$的某种关系,由此给出下面的定义:对于数学期望都存在的随机变量$X$和$Y$,当$(X-E(X))(Y-E(Y))$的数学期望存在时,…
方差

一、方差的定义与性质方差是对随机变量取值离散程度的度量。 离散型随机变量 $X$ 的方差定义为$$ \mathrm{Var}(X) = E\bigl[(X - \mu)^2\bigr] = \sum_k (x_k - \mu)^2 p_k $$连续型随机变量 $X$ 的方差定义为$$ \mathrm{Var}(X) = E\bigl[(X - \mu)^2\bigr] = \int_{-\infty}^{\infty} (x - \mu)^2 f(x)\,\mathrm{d}x $$方差也可表示为$$ \mathrm{Var}(X) = E\bigl[X…
数学期望

一、数学期望的定义与计算方法1、离散型随机变量设离散随机变量 $X$ 有可取值 $\{x_i\}$,对应概率 $P(X=x_i)=p_i$。则$$ E[X] = \sum_i x_i\,p_i. $$2、连续型随机变量设连续随机变量 $X$ 的概率密度函数为 $f(x)$,则$$ E[X] = \int_{-\infty}^{\infty} x\,f(x)\,\mathrm{d}x. $$二、离散型随机变量的期望推导1、0–1 分布(Bernoulli 分布)定义:$X\sim\mathrm{B}(p)$,即$$ P(X=1)=p,\quad P(X=0…
雅可比矩阵在积分变量替换上的应用

极坐标变换的雅可比行列式推导过程是理解多变量积分中变量替换的核心。以下是详细推导,结合几何直观与代数计算,验证其正确性。一、极坐标变换的定义将笛卡尔坐标 $(x, y)$ 转换为极坐标 $(r, \theta)$:$$ x = r \cos \theta, \quad y = r \sin \theta $$其中:$ r \geq 0 $ 是到原点的距离,$ \theta \in [0, 2\pi) $ 是与 $x$-轴的夹角。二、雅可比矩阵的构造雅可比矩阵由 $x$ 和 $y$ 对 $r$ 和 $\theta$ 的一阶偏导数构成:$$ J = \beg…
雅可比矩阵

一、雅可比矩阵的定义与推导雅可比矩阵(Jacobian Matrix)是描述向量值函数一阶偏导数的矩阵。对于一个函数 $ \mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m $,其雅可比矩阵 $ J_{\mathbf{F}} $ 是一个 $ m \times n $ 的矩阵,元素为各输出分量对输入变量的偏导数:$$ J_{\mathbf{f}}(\mathbf{x}) = \begin{bmatrix} \frac{\partial f_1}{\partial x_1} & \cdots & \frac{\…
二元随机变量函数分布通解公式推导

设 $(X,Y)$ 为二元随机变量,其联合密度函数为 $f_{X,Y}(x,y)$(对于离散变量则讨论概率函数),下列公式给出不同变换函数 $Z=g(X,Y)$ 的分布推导方法。下面推导过程都假设 $X,Y$ 不是相互独立的,如果独立的话,可以进行下述化简:$$ F_{X,Y}(x,y)=F_X(x)+F_Y(y) $$一、线性变换:$Z=aX+bY$方法1:变量替换(雅可比变换法)选择变换$$ \begin{cases} z = a x + b y,\\[1mm] w = x \quad (\text{或其它与 }z \text{无关的函数}) \en…