本文共 908 字，大约阅读时间需要 3 分钟。

否定与过拟合及局部加权回归算法

引言

随着机器学习的快速发展，模型训练质量直接关系到算法性能。吴恩达老师的机器学习课程为我提供了宝贵的知识 Başka，尤其深刻我对模型训练中的欠拟合与过拟合问题有了更深入理解。本文将探讨这两个关键问题，并介绍局部加权回归算法作为解决方案。

否定与过拟合概述

在机器学习中，模型与数据之间的关系分为三种：欠拟合、过拟合和泛化。前两者是训练过程中的普遍问题，而泛化则指模型在未知数据上的表现。

否定（Underfitting）

欠拟合是指模型无法充分捕捉数据中的复杂模式。模型总是追求最小损失，但过于简化时，无法拟合数据的精细特征。例如，仅使用房价与面积的线性关系，模型无法反映房价随面积变化的复杂非线性关系。

过拟合（Overfitting）

过拟合则相反，模型太过精准地拟合训练数据，甚至处理噪声。这样一来，模型在面对新数据时表现失衡。例如，过拟合的模型可能完美预测具体训练数据点，但对新数据预测效果差。

倒噬与过拟合的影响

欠拟合与过拟合均会影响模型性能。欠拟合使模型在训练集表现不佳，且泛化能力不足；过拟合则导致模型在训练集表现优异，但在测试集表现不佳。

局部加权回归算法(Locally Weighted Regression)

局部加权回归作为一种非参数学习算法，巧妙解决了过拟合问题。

定义

非参数学习算法与参数学习算法相比，具有灵活性。局部加权回归通过赋予权重模糊数据点，避免过拟合。

权重函数

权重函数选择影响权重分配。在局部加权回归中，无论光滑度如何，对异常点赋予更低权重。使用修正后的权重函数，我们可以优化模型泛化能力。

优化

局部加权回归的优势在于结合数据本身特征，无需选择特征。这种自适应的特性使得模型既不欠拟合，也不过拟合。

局部加权回归的局限

尽管局部加权回归为非参数学习提供了解决方案，但训练集过大时预测成本高。随后内容将介绍KD树优化方法解决这一挑战。

总结

通过吴恩达课程学习，深刻理解欠拟合、过拟合及其解决思路。本文探讨了局部加权回归在这一领域的应用，权重分配为突破过拟合问题提供了有效方法。希望本文能为学员理解机器学习中的核心问题提供有价值参考。

转载地址：http://teulz.baihongyu.com/