标签 数理统计 下的文章

最小二乘法（Least Squares Method）是一种用于数据拟合的方法，通过最小化观测值与模型预测值之间的误差平方和，来求得模型参数的最优估计。下面以一元线性回归为例，详细推导最小二乘法的过程。一、问题描述给定 $n$ 组数据点 $(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$，希望用一个线性函数$$ y = a x + b $$来拟合这些数据点。目标是找到参数 $a$ 和 $b$，使得拟合直线与观测数据之间的误差平方和最小。二、残差平方和对于每一个数据点 $i$，其观测值为 $y_i$，拟合值为 $\ha…

一、矩估计（Method of Moments, MM）1、意义矩估计是一种参数估计方法。其基本思想是用样本矩（即样本的若干阶幂平均）去逼近总体矩（即理论矩），从而求出未知参数的估计值。也就是说，通过样本的统计量去“模拟”总体分布的性质。2、计算方法（1）一般步骤设总体分布含有$k$个未知参数$\theta_1, \theta_2, \ldots, \theta_k$。写出前$k$阶的理论矩（关于参数的表达式）：$$ \mu_r' = \mathbb{E}(X^r), \quad r=1,2,\ldots,k $$根据样本计算对应的样本矩：$$…

概率论与数理统计中的枢轴量法详解一、基本概念在概率论与数理统计中，枢轴量法（Pivot Quantity Method）是一种常用的构造置信区间的方法。其核心思想是通过构造一个在参数未知时依然服从已知分布的函数（枢轴量），进而推导出参数的置信区间。设有样本 $X_1, X_2, \ldots, X_n$，依概率分布 $f(x;\theta)$，其中 $\theta$ 是待估参数。枢轴量是形如 $T(X_1, \ldots, X_n; \theta)$ 的函数，满足：$T$ 的分布与 $\theta$ 无关（或与 $\theta$ 的分布形式已知）；$T$…

一、抽样分布定义统计量的分布称为抽样分布 (sampling distribution)。在使用统计量进行统计推断时需要知道抽样分布。一般情况下，要给出统计量的精确分布是很困难的，但在某些特殊情形下，如总体服从正态分布的情形下，我们可以给出某些统计量的精确分布，这些精确的抽样分布为正态总体情形下的参数推断提供了理论依据。在数理统计中，最重要的三个抽样分布为 $\chi^{2}$ 分布，$t$ 分布和 $F$ 分布。二、$\chi^2$ 分布1、$\chi^2$ 分布的定义设 $X_1,X_2,\cdots,X_n$ 为独立同分布的随机变量，且都服从标准正…

一、统计量的定义设 $X_1,X_2,\cdots,X_n$ 是来自总体 $X$ 的一个样本，$g(X_1,X_2,\cdots ,X_n)$ 是样本 $X_1,X_2,\cdots,X_n$ 的函数，若$g$不含未知参数，则称 $g(X_1,X_2,\cdots,X_n$)是一统计量。二、常用统计量在统计学中，根据不同的目的可以构造出许多不同的统计量，下面是几个常用的重要统计量：样本均值$$ \overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i $$样本方差$$ S^2 = \frac{1}{n-1} \sum_{…

一、依概率收敛（Convergence in Probability）严谨定义：设 $\{X_n\}$ 是一列随机变量，$X$ 是某个随机变量。如果对任意的 $\varepsilon > 0$，都有$$ \lim_{n \to \infty} P(|X_n - X| > \varepsilon) = 0, $$则称 $X_n$ 依概率收敛于 $X$，记作 $X_n \xrightarrow{P} X$。通俗解释：依概率收敛意味着：当 $n$ 越来越大时，$X_n$ 跟 $X$ 越来越“接近”的概率越来越大。虽然每个 $X_n$ 本身是随机的，…

一、方差的定义与性质方差是对随机变量取值离散程度的度量。 离散型随机变量 $X$ 的方差定义为$$ \mathrm{Var}(X) = E\bigl[(X - \mu)^2\bigr] = \sum_k (x_k - \mu)^2 p_k $$连续型随机变量 $X$ 的方差定义为$$ \mathrm{Var}(X) = E\bigl[(X - \mu)^2\bigr] = \int_{-\infty}^{\infty} (x - \mu)^2 f(x)\,\mathrm{d}x $$方差也可表示为$$ \mathrm{Var}(X) = E\bigl[X…