分类 概率论与数理统计 下的文章

最小二乘法（Least Squares Method）是一种用于数据拟合的方法，通过最小化观测值与模型预测值之间的误差平方和，来求得模型参数的最优估计。下面以一元线性回归为例，详细推导最小二乘法的过程。一、问题描述给定 $n$ 组数据点 $(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$，希望用一个线性函数$$ y = a x + b $$来拟合这些数据点。目标是找到参数 $a$ 和 $b$，使得拟合直线与观测数据之间的误差平方和最小。二、残差平方和对于每一个数据点 $i$，其观测值为 $y_i$，拟合值为 $\ha…

一、矩估计（Method of Moments, MM）1、意义矩估计是一种参数估计方法。其基本思想是用样本矩（即样本的若干阶幂平均）去逼近总体矩（即理论矩），从而求出未知参数的估计值。也就是说，通过样本的统计量去“模拟”总体分布的性质。2、计算方法（1）一般步骤设总体分布含有$k$个未知参数$\theta_1, \theta_2, \ldots, \theta_k$。写出前$k$阶的理论矩（关于参数的表达式）：$$ \mu_r' = \mathbb{E}(X^r), \quad r=1,2,\ldots,k $$根据样本计算对应的样本矩：$$…

一、原假设与备择假设的定义1、原假设（Null Hypothesis, $H_0$）.原假设是指在进行假设检验时，最初假定被检验的参数或总体特性在某一特定值或范围内。一般认为原假设是“无效”或“无差异”的假设。例如：$$ H_0: \mu = \mu_0 $$意思是总体均值等于$\mu_0$。2、备择假设（Alternative Hypothesis, $H_1$ 或 $H_a$）备择假设则是在原假设不成立时所接受的假设，通常反映研究者所关注的效应或差异。例如：$$ H_1: \mu \neq \mu_0 $$二、单侧检验与双侧检验的分类1、双侧检验（T…

概率论与数理统计中的枢轴量法详解一、基本概念在概率论与数理统计中，枢轴量法（Pivot Quantity Method）是一种常用的构造置信区间的方法。其核心思想是通过构造一个在参数未知时依然服从已知分布的函数（枢轴量），进而推导出参数的置信区间。设有样本 $X_1, X_2, \ldots, X_n$，依概率分布 $f(x;\theta)$，其中 $\theta$ 是待估参数。枢轴量是形如 $T(X_1, \ldots, X_n; \theta)$ 的函数，满足：$T$ 的分布与 $\theta$ 无关（或与 $\theta$ 的分布形式已知）；$T$…

一、抽样分布定义统计量的分布称为抽样分布 (sampling distribution)。在使用统计量进行统计推断时需要知道抽样分布。一般情况下，要给出统计量的精确分布是很困难的，但在某些特殊情形下，如总体服从正态分布的情形下，我们可以给出某些统计量的精确分布，这些精确的抽样分布为正态总体情形下的参数推断提供了理论依据。在数理统计中，最重要的三个抽样分布为 $\chi^{2}$ 分布，$t$ 分布和 $F$ 分布。二、$\chi^2$ 分布1、$\chi^2$ 分布的定义设 $X_1,X_2,\cdots,X_n$ 为独立同分布的随机变量，且都服从标准正…

一、统计量的定义设 $X_1,X_2,\cdots,X_n$ 是来自总体 $X$ 的一个样本，$g(X_1,X_2,\cdots ,X_n)$ 是样本 $X_1,X_2,\cdots,X_n$ 的函数，若$g$不含未知参数，则称 $g(X_1,X_2,\cdots,X_n$)是一统计量。二、常用统计量在统计学中，根据不同的目的可以构造出许多不同的统计量，下面是几个常用的重要统计量：样本均值$$ \overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i $$样本方差$$ S^2 = \frac{1}{n-1} \sum_{…

一、林德伯格-莱维中心极限定理 (Lindeberg-Lévy CLT)1、定理内容设${X_n}$是独立同分布的随机变量序列，且满足：期望存在：$E[X_k] = \mu < \infty$方差存在：$Var(X_k) = \sigma^2 < \infty$ ($\sigma > 0$)则对于部分和$S_n = \sum_{k=1}^n X_k$，有标准化随机变量：$$ Z_n = \frac{S_n - n\mu}{\sigma\sqrt{n}} = \frac{\overline{X}_n - \mu}{\sigma/\sqrt…

一、依概率收敛（Convergence in Probability）严谨定义：设 $\{X_n\}$ 是一列随机变量，$X$ 是某个随机变量。如果对任意的 $\varepsilon > 0$，都有$$ \lim_{n \to \infty} P(|X_n - X| > \varepsilon) = 0, $$则称 $X_n$ 依概率收敛于 $X$，记作 $X_n \xrightarrow{P} X$。通俗解释：依概率收敛意味着：当 $n$ 越来越大时，$X_n$ 跟 $X$ 越来越“接近”的概率越来越大。虽然每个 $X_n$ 本身是随机的，…

一、协方差1、协方差的定义回想数学期望的性质之一，对于相互独立的随机变量$X$和$Y$，当其数学期望都存在时，有$E(XY)=E(X)E(Y)$，而此式等价于：$$ E[(X-E(X))(Y-E(Y))]= 0\ $$那么当$E[(X-E(X))(Y-E(Y))]\neq0$时，$X$和$Y$一定不独立，也就是它们之间存在某种相依关系。因此我们认为$E[(X-E(X))(Y-E(Y))]$可以在一定程度上反映出$X$和$Y$的某种关系，由此给出下面的定义：对于数学期望都存在的随机变量$X$和$Y$，当$(X-E(X))(Y-E(Y))$的数学期望存在时，…

一、方差的定义与性质方差是对随机变量取值离散程度的度量。 离散型随机变量 $X$ 的方差定义为$$ \mathrm{Var}(X) = E\bigl[(X - \mu)^2\bigr] = \sum_k (x_k - \mu)^2 p_k $$连续型随机变量 $X$ 的方差定义为$$ \mathrm{Var}(X) = E\bigl[(X - \mu)^2\bigr] = \int_{-\infty}^{\infty} (x - \mu)^2 f(x)\,\mathrm{d}x $$方差也可表示为$$ \mathrm{Var}(X) = E\bigl[X…

一、数学期望的定义与计算方法1、离散型随机变量设离散随机变量 $X$ 有可取值 $\{x_i\}$，对应概率 $P(X=x_i)=p_i$。则$$ E[X] = \sum_i x_i\,p_i. $$2、连续型随机变量设连续随机变量 $X$ 的概率密度函数为 $f(x)$，则$$ E[X] = \int_{-\infty}^{\infty} x\,f(x)\,\mathrm{d}x. $$二、离散型随机变量的期望推导1、0–1 分布（Bernoulli 分布）定义：$X\sim\mathrm{B}(p)$，即$$ P(X=1)=p,\quad P(X=0…

设 $(X,Y)$ 为二元随机变量，其联合密度函数为 $f_{X,Y}(x,y)$（对于离散变量则讨论概率函数），下列公式给出不同变换函数 $Z=g(X,Y)$ 的分布推导方法。下面推导过程都假设 $X,Y$ 不是相互独立的，如果独立的话，可以进行下述化简：$$ F_{X,Y}(x,y)=F_X(x)+F_Y(y) $$一、线性变换：$Z=aX+bY$方法1：变量替换（雅可比变换法）选择变换$$ \begin{cases} z = a x + b y,\\[1mm] w = x \quad (\text{或其它与 }z \text{无关的函数}) \en…

在概率论中，卷积公式用于求解两个独立随机变量和的分布。卷积操作提供了一种方法，通过它我们可以计算这两个随机变量的联合效应，通常应用于连续型和离散型随机变量。一、连续型随机变量的卷积设 $X$ 和 $Y$ 为两个相互独立的连续型随机变量，其概率密度函数分别为 $f_X(x)$ 和 $f_Y(y)$。那么随机变量 $Z = X + Y$ 的概率密度函数 $f_Z(z)$ 为：$$ f_Z(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x) \, dx. $$该公式称为卷积公式。其中对 $x$ 的积分表示所有可能的 $X…

一、联合分布 (Joint Distribution)1. 定义设二维离散型随机变量$(X, Y)$的可能取值为$(x_i, y_j)$，其联合分布律为：$$ P\{X = x_i, Y = y_j\} = p_{ij}, \quad i,j = 1,2,\cdots $$2. 性质非负性：$p_{ij} \geq 0$归一性：$\sum_{i=1}^{+\infty} \sum_{j=1}^{+\infty} p_{ij} = 1$3. 表示形式用表格表示联合分布律：$$ \begin{array}{|c|cccc|c|} \hline X \back…

一、问题描述设$X$为随机变量，已知$X$的概率分布，$Y = g(X)$是其函数。需要根据$X$的分布求出$Y$的分布。二、离散型随机变量1. 求解步骤步骤1：列出$Y$所有可能取值$\{ y_j = g(x_i) | x_i \in X(\Omega) \}$步骤2：对每个$y_j$，计算概率：$$ P(Y=y_j) = \sum_{x_i \in g^{-1}(y_j)} P(X=x_i) $$其中$g^{-1}(y_j) = \{ x_i | g(x_i) = y_j \}$2. 数学证明设$X$的分布律为$P(X=x_i)=p_i$，则：$$ …