降维是一种通过优化机器学习模型的训练数据输入变量来减少模型训练成本的技术。在高维数据中,输入变量的数量可能非常庞大,降维的目的是尽可能地保留原始数据的可变性。通过降维,我们可以减少模型训练所需的计算资源,并在一定程度上提高模型的准确性。
在机器学习中,对于较少输入变量或低维度的数据,可以使用结构更简单、参数更少的机器学习模型进行处理。特别是在神经网络中,通过使用简单模型来降低数据的维数,可以实现很好的泛化效果,从而使模型更加可取。
降维的重要性
- 高维数据执行学习训练具有非常高的计算成本。而且通过高维数据训练的模型往往在训练数据上表现得相当好,但在测试时表现不佳。
- 降维消除了数据中不相关的特征或变量,可以帮助模型预测避免维度诅咒,同时还能保留数据中的相关特征,提高准确性。
- 减少数据的维度也使数据可视化更容易,节省训练时间和存储空间。
- 降维还可以通过消除多重共线性来帮助增强对机器学习模型参数的解释。
- 可以应用降维来缓解过拟合问题
- 降维可用于因子分析
- 降维可用于图像压缩
- 降维可将非线性数据转换为线性可分形式
- 降维可用于压缩神经网络架构
降维的组成部分
特征选择
这涉及尝试识别原始特征的子集,以尝试找到可以用来对问题进行建模的较小子集。
特征选择类型
- 递归特征消除
递归特征消除(RFE)方法的核心是不同机器学习算法本质上是RFE包装的,用于帮助选择特征。
从技术上讲,它是一种包装类型的特征选择算法,它在内部也使用了基于过滤器的特征选择。它的工作原理是从训练数据集中的特征开始寻找特征的子集,然后消除特征直到保留所需的数量。
- 遗传特征选择
遗传算法(GA)的灵感来自达尔文的自然选择理论,在该理论中,只有最适合的个体才能得到保存,模仿自然选择的力量来找到函数的最佳值。
由于变量在组中起作用,因此对于遗传算法,所选变量被视为一个整体。该算法不会针对目标单独对变量进行排名。
- 顺序前向选择
在顺序前向选择中,首先选择最好的单个特征。之后,它通过剩余特征之一与最佳特征形成特征对,再然后选择最佳对。接下来会看到使用这对最佳特征以及剩余特征之一形成的三重特征。这可以一直持续到选择了预定义数量的特征。
特征提取
特征提取涉及将原始原始数据集减少为可管理的组以进行处理。它最常使用文本和图像数据进行,提取和处理最重要的特征,而不是处理整个数据集。
降维的方法
主成分分析(PCA)
这是一种线性降维技术,它将一组相关特征“p”转换为较少数量的不相关特征“k”(k
线性判别分析(LDA)
这种技术按类别将训练实例分开。它识别输入变量的线性组合,从而优化类可分离性。它是一种有监督的机器学习算法。
广义判别分析(GDA)
此方法使用一个函数核心操作员。它将输入向量映射到高维特征空间。该方法旨在通过最大化类间散度与类内散度的比率来找到变量到低维空间的投影。
还有其他的降维方法,如t分布随机邻域嵌入(t-SNE)、因子分析(FA)、截断奇异值分解(SVD)、多维缩放(MDS)、等距映射(Isomap)、后向消除、前向选择等。
降维是可逆的吗?
降维在自动编码器中是可逆的。这些本质上是常规的神经网络,中间有一个瓶颈层。例如,第一层可以有20个输入,中间层有10个神经元,最后一层有另外20个神经元。在训练这样一个网络时,基本上强制它把信息压缩到10个神经元,然后再解压缩,从而最大限度地减少最后一层的错误。
以上是深入探讨机器学习中的降维概念:什么是降维?的详细内容。更多信息请关注PHP中文网其他相关文章!

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

机器学习是一个不断发展的学科,一直在创造新的想法和技术。本文罗列了2023年机器学习的十大概念和技术。 本文罗列了2023年机器学习的十大概念和技术。2023年机器学习的十大概念和技术是一个教计算机从数据中学习的过程,无需明确的编程。机器学习是一个不断发展的学科,一直在创造新的想法和技术。为了保持领先,数据科学家应该关注其中一些网站,以跟上最新的发展。这将有助于了解机器学习中的技术如何在实践中使用,并为自己的业务或工作领域中的可能应用提供想法。2023年机器学习的十大概念和技术:1. 深度神经网

译者 | 朱先忠审校 | 孙淑娟在我之前的博客中,我们已经了解了如何使用因果树来评估政策的异质处理效应。如果你还没有阅读过,我建议你在阅读本文前先读一遍,因为我们在本文中认为你已经了解了此文中的部分与本文相关的内容。为什么是异质处理效应(HTE:heterogenous treatment effects)呢?首先,对异质处理效应的估计允许我们根据它们的预期结果(疾病、公司收入、客户满意度等)选择提供处理(药物、广告、产品等)的用户(患者、用户、客户等)。换句话说,估计HTE有助于我

近年来,基于深度学习的模型在目标检测和图像识别等任务中表现出色。像ImageNet这样具有挑战性的图像分类数据集,包含1000种不同的对象分类,现在一些模型已经超过了人类水平上。但是这些模型依赖于监督训练流程,标记训练数据的可用性对它们有重大影响,并且模型能够检测到的类别也仅限于它们接受训练的类。由于在训练过程中没有足够的标记图像用于所有类,这些模型在现实环境中可能不太有用。并且我们希望的模型能够识别它在训练期间没有见到过的类,因为几乎不可能在所有潜在对象的图像上进行训练。我们将从几个样本中学习

本文讨论使用LazyPredict来创建简单的ML模型。LazyPredict创建机器学习模型的特点是不需要大量的代码,同时在不修改参数的情况下进行多模型拟合,从而在众多模型中选出性能最佳的一个。 摘要本文讨论使用LazyPredict来创建简单的ML模型。LazyPredict创建机器学习模型的特点是不需要大量的代码,同时在不修改参数的情况下进行多模型拟合,从而在众多模型中选出性能最佳的一个。本文包括的内容如下:简介LazyPredict模块的安装在分类模型中实施LazyPredict

译者 | 朱先忠审校 | 孙淑娟引言模型超参数(或模型设置)的优化可能是训练机器学习算法中最重要的一步,因为它可以找到最小化模型损失函数的最佳参数。这一步对于构建不易过拟合的泛化模型也是必不可少的。优化模型超参数的最著名技术是穷举网格搜索和随机网格搜索。在第一种方法中,搜索空间被定义为跨越每个模型超参数的域的网格。通过在网格的每个点上训练模型来获得最优超参数。尽管网格搜索非常容易实现,但它在计算上变得昂贵,尤其是当要优化的变量数量很大时。另一方面,随机网格搜索是一种更快的优化方法,可以提供更好的

本文将详细介绍用来提高机器学习效果的最常见的超参数优化方法。 译者 | 朱先忠审校 | 孙淑娟简介通常,在尝试改进机器学习模型时,人们首先想到的解决方案是添加更多的训练数据。额外的数据通常是有帮助(在某些情况下除外)的,但生成高质量的数据可能非常昂贵。通过使用现有数据获得最佳模型性能,超参数优化可以节省我们的时间和资源。顾名思义,超参数优化是为机器学习模型确定最佳超参数组合以满足优化函数(即,给定研究中的数据集,最大化模型的性能)的过程。换句话说,每个模型都会提供多个有关选项的调整“按钮

实现自我完善的过程是“机器学习”。机器学习是人工智能核心,是使计算机具有智能的根本途径;它使计算机能模拟人的学习行为,自动地通过学习来获取知识和技能,不断改善性能,实现自我完善。机器学习主要研究三方面问题:1、学习机理,人类获取知识、技能和抽象概念的天赋能力;2、学习方法,对生物学习机理进行简化的基础上,用计算的方法进行再现;3、学习系统,能够在一定程度上实现机器学习的系统。


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

SublimeText3汉化版
中文版,非常好用

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

Dreamweaver Mac版
视觉化网页开发工具