
机器学习方法
文章平均质量分 71
机器学习方法
F_D_Z
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【k近邻】 K-Nearest Neighbors算法汇总
K近邻算法是一种基于实例的简单分类方法,其核心思想是"少数服从多数"。算法通过计算待分类点与训练集中各点的距离,选取最近的K个邻居,根据这些邻居的多数类别决定待分类点的归属。关键要素包括距离度量选择(如欧式距离)、数据归一化(避免特征权重失衡)和K值选择(需平衡模型复杂度与误差)。K近邻的主要优点是精度高、对异常值不敏感,但计算和空间复杂度较高,且K值选择不当易导致过拟合或欠拟合。合理选择K值通常采用交叉验证方法。原创 2025-08-14 11:11:05 · 1166 阅读 · 0 评论 -
【机器学习】决策树(Decision Tree)
决策树是一类预测模型,它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表某个可能的属性值,而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。原创 2025-07-01 11:11:30 · 4710 阅读 · 0 评论 -
【损失函数】交叉熵作为损失函数的理论依据
交叉熵是信息论中的一个重要概念,主要用于度量两个概率分布之间的差异。在信息论中,交叉熵描述了用非真实分布q来表示来自真实分布p的平均编码长度所需的比特数。如果两个分布完全相同,则交叉熵达到最小值(即0),表示编码是完美的。反之,如果两个分布差异较大,则交叉熵会增大,表示编码效率降低。在深度学习中,交叉熵被用作一种损失函数,来衡量模型预测的概率分布与真实概率分布之间的差异。这种差异越小,说明模型的预测越准确,损失也就越小。原创 2024-09-24 16:49:08 · 1142 阅读 · 0 评论 -
【损失函数】KL散度与交叉熵理解
本文探讨了变分自编码器等模型中Kullback-Leibler(KL)散度的应用。KL散度用于衡量两个概率分布间的差异,在深度学习中常用于构造损失函数。文章首先介绍信息论基础,包括熵、互信息和交叉熵等概念,指出KL散度可分解为交叉熵与真实分布熵的差。在实际模型中,最小化KL散度等价于优化交叉熵,这与极大似然估计(MLE)方法相一致。特别地,在变分自编码器(VAE)中,KL散度作为损失函数的一部分,确保了潜在变量分布与先验分布的接近性,同时与重建误差共同优化模型性能。原创 2025-09-06 09:41:30 · 3361 阅读 · 0 评论 -
【机器学习】感知机学习算法(Perceptron)
本文介绍了感知机模型的基本概念、几何解释及学习算法。感知机是一种二分类线性模型,通过超平面划分特征空间。文章详细阐述了感知机学习策略(基于误分类点距离的损失函数)和两种算法形式(原始形式和对偶形式),并证明了算法的收敛性。通过具体例题展示了算法实现过程,最后指出感知机仅适用于线性可分问题,其解不唯一且依赖于初始选择和迭代顺序,这为后续支持向量机的发展奠定了基础。原创 2025-07-01 11:10:49 · 2768 阅读 · 1 评论 -
【EM算法】三硬币模型
本文介绍了EM算法在三硬币模型中的应用。模型通过掷硬币A决定选择硬币B或C,观测10次结果后估计参数。由于存在隐变量,传统极大似然估计无法解析求解。EM算法通过E步(计算期望)和M步(参数估计)迭代求解,示例显示初值取π=0.5时收敛至π=0.5,p=0.6,q=0.6,但算法对初值敏感,不同初值可能导致不同结果。该案例展示了EM算法处理含隐变量参数估计的有效性。原创 2025-07-15 10:24:42 · 1057 阅读 · 0 评论 -
【EM算法】算法及注解
EM算法是一种迭代算法,用于含有隐变量的概率模型参数估计。它通过交替执行E步(计算期望)和M步(参数极大化)逐步优化模型。算法对初始值敏感,每次迭代都增大似然函数直至收敛。收敛条件通常设定为参数变化或对数似然变化小于阈值。该算法解决了观测变量和隐变量共存时的参数估计问题,是极大似然估计的重要扩展。原创 2025-07-15 10:24:16 · 422 阅读 · 0 评论 -
【k近邻】Kd树构造与最近邻搜索示例
(4)如此递归,最后得到如上图所示的特征空间划分和如下图所示的。的区域与圆不相交,不可能有最近邻点,故继续返回上一级父结点。树可以省去对大部分数据点的搜索,从而减少搜索的计算量。将空间分为左、右两个子矩形(子结点);该区域在圆内的实例点有点。维空间中的数据进行快速检索的数据结构。维空间划分中的一个超矩形区域,利用。,使用kd树的最近邻搜索算法可以求得。维空间的一个划分,其每个结点对应于。例: 给定一个二维空间的数据集,(图中的右下区域), 以点。更近,成为新的最近邻近似;的区域内搜索最近邻,结点。原创 2025-08-14 11:10:32 · 836 阅读 · 0 评论 -
【k近邻】Kd树的构造与最近邻搜索算法
Kd树是一种对K(与k近邻的k意义不同)维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。Kd树是一种二叉树,表示对K维空间的一个划分(partition)。构造Kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分,构成一 系列的K维超矩形区域。Kd树的每个结点对应于一个k维超矩形区域。原创 2025-08-12 10:33:56 · 1211 阅读 · 0 评论 -
【k近邻】 K-Nearest Neighbors算法k值的选择
(K-Nearest Neighbors,简称KNN)是一种常用的监督学习算法,可以用于分类和回归问题。在OpenCV中,KNN算法的函数为`cv.ml.KNearest_create()。原创 2025-08-12 10:33:04 · 782 阅读 · 0 评论 -
【k近邻】 K-Nearest Neighbors算法距离度量选择与数据维度归一化
(K-Nearest Neighbors,简称KNN)是一种常用的监督学习算法,可以用于分类和回归问题。在OpenCV中,KNN算法的函数为`cv.ml.KNearest_create()。原创 2025-08-13 11:12:44 · 859 阅读 · 0 评论 -
【k近邻】 K-Nearest Neighbors算法原理及流程
(K-Nearest Neighbors,简称KNN)是一种常用的监督学习算法,可以用于分类和回归问题。在OpenCV中,KNN算法的函数为`cv.ml.KNearest_create()。原创 2025-08-13 11:12:33 · 720 阅读 · 0 评论 -
【感知机】感知机(perceptron)学习算法知识点汇总
设输入空间(特征空间),输出空间。输入表示实例的特征向量,对应于输入空间的点,输出表示实例的类别,由输入空间到输出空间的函数称为。原创 2025-08-09 09:46:12 · 4319 阅读 · 0 评论 -
【感知机】感知机(perceptron)学习算法例题及详解
本文介绍了感知机的基本概念及其学习算法。感知机是一种二类分类的线性模型,通过分离超平面实现分类。文章详细阐述了感知机学习的思路,包括误分类损失函数和梯度下降法。重点比较了原始形式和对偶形式两种算法,并通过两个实例演示计算过程。结果表明,感知机算法的解不唯一,取决于初始值和误分类点顺序。最后指出对偶形式与原始形式结果一致,且都能收敛到有效解。原创 2025-08-09 09:45:42 · 4698 阅读 · 0 评论 -
【感知机】感知机(perceptron)学习算法的收敛性
摘要:感知机是一种二类线性分类模型,通过分离超平面划分实例类别。其学习过程包括构建损失函数、梯度下降优化等步骤,可分为原始形式和对偶形式。当训练数据线性可分时,感知机算法能在有限次迭代后收敛,找到完美分类超平面。Novikoff定理从理论上证明了感知机算法的收敛性。原创 2025-08-08 12:29:02 · 709 阅读 · 0 评论 -
【感知机】感知机(perceptron)学习策略
摘要:感知机是一种二分类线性模型,通过分离超平面划分特征空间。其学习目标是在线性可分条件下找到最优超平面,采用误分类点距离作为损失函数。该损失函数在误分类时为参数的线性函数,正确分类时为0,是连续可导的。感知机为神经网络和支持向量机的基础,通过最小化误分类点总距离来优化参数。原创 2025-08-07 15:12:37 · 762 阅读 · 0 评论 -
【感知机】感知机(perceptron)学习算法的对偶形式
感知机是一种二类分类的线性模型,通过分离超平面将实例划分为正负两类。其学习算法基于误分类损失函数,采用梯度下降法进行优化,可分为原始形式和对偶形式。对偶形式通过Gram矩阵存储实例内积,将参数表示为实例的线性组合。实例的更新次数反映了其分类难度,对学习结果影响较大。感知机为神经网络和支持向量机的基础模型。原创 2025-08-08 12:28:40 · 874 阅读 · 0 评论 -
【感知机】感知机(perceptron)模型与几何解释
本文介绍了感知机的基本概念与应用。感知机是一种二类线性分类模型,通过分离超平面划分特征空间,输出类别为+1或-1。文章详细阐述了感知机模型定义、几何解释(超平面法向量和截距)及数据集线性可分性的判别标准。同时概述了感知机的学习策略:基于误分类的损失函数,采用梯度下降法进行参数优化,最终得到分类模型。感知机作为神经网络与支持向量机的基础,其学习算法包括原始形式和对偶形式两种。原创 2025-08-07 15:12:20 · 750 阅读 · 0 评论 -
【感知机】感知机(perceptron)学习算法的原始形式
感知机( perceptron )是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1 和-1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面,是一种判别模型。感知机是神经网络与支持向量机的基础感知机学习旨在求出将训练数据进行线性划分的分离超平面。感知机学习思路:1.导入基于误分类的损失函数2.利用梯度下降法对损失函数进行极小化3.代入参数得到感知机模型。感知机学习算法分类:原始形式、对偶形式。原创 2025-06-21 11:30:00 · 645 阅读 · 0 评论 -
【隐马尔可夫模型】隐马尔可夫模型的观测序列概率计算算法及例题详解
隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状志的序列,再由各个状态随机生成一个观测而产生观测的序列的过程。模型本身属于生成模型,表示状态序列和观测序列的联合分布,但是状态序列是隐藏不可观测的。观测序列概率的计算需要有效的算法支撑。模型,A为状态转移概率矩阵,B为观测概率矩阵,π 为初始状态概率向量。原创 2025-06-18 23:48:07 · 1282 阅读 · 0 评论 -
【隐马尔可夫模型】用前向算法计算观测序列概率P(O|λ)
【隐马尔可夫模型】用前向算法计算观测序列概率P(O|λ)原创 2025-06-17 23:20:57 · 517 阅读 · 0 评论 -
【支持向量机】SVM线性可分支持向量机学习算法——硬间隔最大化支持向量机及例题详解
支特向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。包含线性可分支持向量机、 线性支持向量机、非线性支持向量机。当训练数据线性可分时,通过硬间隔最大化学习线性分类器, 即为线性可分支持向量机,又称为硬间隔支持向量机。原创 2025-06-20 18:28:04 · 1404 阅读 · 0 评论 -
【支持向量机】SVM线性支持向量机学习算法——软间隔最大化支持向量机
支特向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。包含线性可分支持向量机、 线性支持向量机、非线性支持向量机。当训练数据时,通过学习线性分类器, 即为线性支持向量机,又称为软间隔支持向量机。原创 2025-06-21 12:00:00 · 946 阅读 · 0 评论 -
【隐马尔可夫模型】用后向算法计算观测序列概率P(O|λ)
【隐马尔可夫模型】用后向算法计算观测序列概率P(O|λ原创 2025-06-17 23:21:45 · 504 阅读 · 0 评论