【加权最小二乘法】在统计学和数据分析中，加权最小二乘法（Weighted Least Squares, WLS）是一种对普通最小二乘法（OLS）的改进方法，主要用于处理数据中存在异方差性（Heteroscedasticity）的情况。与普通最小二乘法不同，加权最小二乘法通过为每个观测点赋予不同的权重，使得模型能够更准确地拟合数据，提高估计结果的可靠性。
一、基本原理
加权最小二乘法的核心思想是：在最小化残差平方和时，对不同观测点的误差赋予不同的权重。其目标函数为：
$$
\min_{\beta} \sum_{i=1}^{n} w_i (y_i - x_i^T \beta)^2
$$
其中：
- $ y_i $ 是第 $ i $ 个观测值；
- $ x_i $ 是第 $ i $ 个解释变量向量；
- $ \beta $ 是待估参数向量；
- $ w_i $ 是第 $ i $ 个观测点的权重。
权重的选择通常基于对误差项方差的估计，常见的做法是将权重设为误差方差的倒数，即 $ w_i = 1/\sigma_i^2 $。
二、应用场景
| 应用场景 | 描述 |
| 异方差性问题 | 当数据的误差项方差不恒定时，WLS能有效提升模型精度 |
| 数据质量差异 | 对于不同精度或可靠性的数据，可赋予不同权重 |
| 调整偏差影响 | 在某些情况下，需要对特定数据点施加更大的影响 |
三、与普通最小二乘法的对比
| 特征 | 普通最小二乘法（OLS） | 加权最小二乘法（WLS） |
| 权重设定 | 所有观测点权重相同 | 根据误差方差设定不同权重 |
| 假设条件 | 同方差性 | 允许异方差性 |
| 适用性 | 简单线性关系 | 复杂或异方差数据 |
| 计算复杂度 | 较低 | 稍高（需确定权重） |
四、实现步骤
1. 识别异方差性：通过残差图或统计检验（如Breusch-Pagan检验）判断是否存在异方差。
2. 确定权重：根据误差方差估计权重，常用方法包括使用残差平方作为权重或利用先验信息。
3. 进行加权回归：使用加权最小二乘法进行参数估计。
4. 验证模型：检查加权后的模型是否改善了拟合效果。
五、优缺点分析
| 优点 | 缺点 |
| 提高模型准确性，特别是在存在异方差时 | 需要合理选择权重，若权重设定不当可能引入偏差 |
| 更灵活适应不同数据结构 | 计算复杂度高于OLS |
| 可用于调整不同数据点的重要性 | 对异常值敏感，需谨慎处理 |
六、总结
加权最小二乘法是对普通最小二乘法的一种重要扩展，尤其适用于存在异方差性的数据集。通过合理设置权重，WLS能够更精准地反映数据的实际情况，从而提升模型的预测能力和解释力。在实际应用中，应结合数据特征和建模目标，科学选择权重，以达到最佳效果。
