香蕉笔记
当前位置:首页 > 人工智能 > 机器学习

机器学习中常用的几种回归算法及其特点

2023-11-30 06:25:16  

  回归是统计学中最有力的工具之一,机器学习监督学习算法分为分类算法和回归算法两种。回归算法用于连续型分布预测,可以预测连续型数据而不仅仅是离散的类别标签机器学习中常用的几。

  在机器学习领域,回归分析应用非常广泛,例如商品的销量预测问题,交通流量预测问题、预测房价、未来的天气情况等等。

  回归算法是一种比较常用的机器学习算法,用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系;从机器学习的角度来讲,用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系,在算法的学习过程中,试图寻找一个函数 使得参数之间的关系拟合性最好。

  回归算法中算法(函数)的最终结果是一个连续的数据值,输入值(属性值)是一个d维度的属性/数值向量

  常用的回归算法包括线性回归、多项式回归、决策树回归、Ridge 回归、Lasso 回归、ElasticNet 回归等等。

  在本文中,将介绍以下常见回归算法,及其各自特点。

  线性回归多项式回归支持向量机回归决策树回归随机森林回归LASSO 回归Ridge 回归ElasticNet 回归XGBoost 回归局部加权线性回归一、线性回归

线性回归通常是人们学习机器学习和数据科学的第一个算法。线性回归是一种线性模型,它假设输入变量 (X) 和单个输出变量 (y) 之间存在线性关系。一般来说,有两种情况:

  

单变量线性回归:它对单个输入变量(单个特征变量)和单个输出变量之间的关系进行建模。

  

多变量线性回归(也称为多元线性回归):它对多个输入变量(多个特征变量)和单个输出变量之间的关系进行建模。

  关于线性回归的几个关键点:快速且易于建模当要建模的关系不是非常复杂并且您没有大量数据时,它特别有用。非常直观的理解和解释。它对异常值非常敏感。二、多项式回归

当我们想要为非线性可分数据创建模型时,多项式回归是最受欢迎的选择之一种回归算法及其特点。它类似于线性回归,但使用变量 X 和 y 之间的关系来找到绘制适合数据点的曲线的最佳方法。

  关于多项式回归的几个关键点:能够对非线性可分数据进行建模;线性回归不能做到这一点。一般来说,它更加灵活,可以对一些相当复杂的关系进行建模。完全控制特征变量的建模(要设置的指数)。需要精心设计。需要一些数据知识才能选择最佳指数。如果指数选择不当,则容易过度拟合。三、支持向量机回归

支持向量机在分类问题中是众所周知的。SVM 在回归中的使用称为支持向量回归(SVR)。Scikit-learn在 SVR()中内置了这种方法。

  关于支持向量回归的几个关键点:它对异常值具有鲁棒性,并且在高维空间中有效它具有出色的泛化能力(能够正确适应新的、以前看不见的数据)如果特征数量远大于样本数量,则容易过拟合四、决策树回归

决策树是一种用于分类和回归的非参数监督学习方法。目标是创建一个模型,通过学习从数据特征推断出的简单决策规则来预测目标变量的值。一棵树可以看作是一个分段常数近似。

  


  关于决策树的几个关键点:易于理解和解释。树可以可视化。适用于分类值和连续值使用 DT(即预测数据)的成本与用于训练树的数据点数量成对数决策树的预测既不平滑也不连续(如上图所示为分段常数近似)五、随机森林回归

随机森林回归基本上与决策树回归非常相似。它是一个元估计器,可以在数据集的各种子样本上拟合多个决策树,并使用平均来提高预测准确性和控制过拟合。

  

随机森林回归器在回归中可能会或可能不会比决策树表现更好(虽然它通常在分类中表现更好),因为树构造算法本质上存在微妙的过拟合 - 欠拟合权衡。

  关于随机森林回归的几点:减少决策树中的过度拟合并提高准确性。它也适用于分类值和连续值。需要大量计算能力和资源,因为它适合许多决策树来组合它们的输出。六、LASSO 回归

LASSO 回归是使用收缩的线性回归的变体。收缩是将数据值收缩到中心点作为平均值的过程。这种类型的回归非常适合显示重度多重共线性(特征相互之间高度相关)的模型。

  


  关于 Lasso 回归的几点:它最常用于消除自动变量和选择特征。它非常适合显示重度多重共线性(特征相互之间高度相关)的模型。LASSO 回归利用 L1 正则化LASSO 回归被认为比 Ridge 更好,因为它只选择了一些特征并将其他特征的系数降低到零。七、岭回归

岭回归(Ridge regression)与 LASSO 回归非常相似,因为这两种技术都使用了收缩。Ridge 和 LASSO 回归都非常适合显示重度多重共线性(特征相互之间高度相关)的模型。它们之间的主要区别在于 Ridge 使用 L2 正则化,这意味着没有一个系数会像 LASSO 回归中那样变为零(而是接近零)。

  


  关于岭回归的几点:它非常适合显示重度多重共线性(特征相互之间高度相关)的模型。岭回归使用 L2 正则化。贡献较小的特征将具有接近于零的系数。由于 L2 正则化的性质,岭回归被认为比 LASSO 更差。八、ElasticNet 回归

ElasticNet 是另一个使用 L1 和 L2 正则化训练的线性回归模型。它是 Lasso 和 Ridge 回归技术的混合体,因此它也非常适合显示重度多重共线性(特征相互之间高度相关)的模型。

  

在 Lasso 和 Ridge 之间进行权衡的一个实际优势是它允许 Elastic-Net 在旋转下继承 Ridge 的一些稳定性。

  九、XGBoost 回归

XGBoost 是梯度提升算法的一种高效且有效的实现。梯度提升是指一类可用于分类或回归问题的集成机器学习算法。

  

XGBoost 是一个开源库,最初由 Chen Tianqi Chen 在其 2016 年题为“XGBoost: A Scalable Tree Boosting System”的论文中开发。该算法被设计为在计算上既高效又高效。

  关于 XGBoost 的几点:XGBoost 在稀疏和非结构化数据上表现不佳。该算法被设计为计算效率和高效,但是对于大型数据集的训练时间仍然相当长。它对异常值很敏感。十、局部加权线性回归

局部加权线性回归(Local Weights Linear Regression)也是一种线性回归。不同的是,普通线性回归是全局线性回归,使用全部的样本计算回归系数。而局部加权线性回归,通过引入权值(核函数),在预测的时候,只使用与测试点相近的部分样本来计算回归系数。

  优缺点 适用场景

优点就是通过核函数加权来预防欠拟合,缺点也很明显K需要调试。当多元线性回归过拟合的时候,可以尝试高斯核局部加权来预防过拟合。

  十一、贝叶斯岭回归

贝叶斯线性回归(Bayesian linear regression)是使用统计学中贝叶斯推断(Bayesian inference)方法求解的线性回归(linear regression)模型。

  

贝叶斯线性回归将线性模型的参数视为随机变量(random variable),并通过模型参数(权重系数)的先验(prior)计算其后验(posterior)。贝叶斯线性回归可以使用数值方法求解,在一定条件下,也可得到解析型式的后验或其有关统计量。

  

贝叶斯线性回归具有贝叶斯统计模型的基本性质,可以求解权重系数的概率密度函数,进行在线学习以及基于贝叶斯因子(Bayes factor)的模型假设检验。

  优缺点 适用场景

贝叶斯回归的优点就是对数据有自适应能力,可以重复利用数据并防止过拟合,因为我们在估计的过程中可以引入正则项,比如在贝叶斯线正则就是贝叶斯岭回归。

  

缺点就是学习过程开销太大。当特征数在10个以为,可以尝试贝叶斯回归。


标签:机器学习  
上一篇:机器学习之无监督学习:八大降维方法
下一篇:没有了
相关评论
豫ICP备2023002984号-2