📔
国科大模式识别与机器学习笔记 2023
  • 课程概况
  • 第一章 概述
    • 1.1 概述
  • 第二章 生成式分类器
    • 2.1 模式识别与机器学习的目标
    • 2.2 正态分布模式的贝叶斯分类器
    • 2.3 均值向量和协方差矩阵的参数估计
    • 附 第二章作业
  • 第三章 判别式分类器
    • 3.1 判别式分类器与生成式分类器
    • 3.2 线性判别函数
    • 3.3 广义线性判别函数
    • 3.4 Fisher线性判别
    • 3.5 感知器算法
    • 3.6 可训练的确定性分类器的迭代算法
    • 3.7 势函数法
    • 3.8 决策树
    • 附 第三章作业
  • 第四章 特征选择和提取
    • 4.1 模式类别可分性的测度
    • 4.2 特征选择
    • 4.3 离散K-L变换
    • 附 第四章作业
  • 第五章 统计机器学习
    • 5.1 机器学习简介
    • 5.2 统计机器学习
  • 第六章 有监督学习
    • 6.1 有监督学习
    • 6.2 回归任务
    • 6.3 分类问题
    • 附 第六章作业
  • 第七章 支持向量机
    • 7.1 线性支持向量机
    • 7.2 核支持向量机
    • 7.3 序列最小优化算法
    • 附 第七章作业
  • 第八章 聚类
    • 8.1 基本概念
    • 8.2 经典聚类算法
    • 附 第八章作业
  • 第九章 降维
    • 9.1 基本概念
    • 9.2 维度选择
    • 9.3 维度抽取
  • 第十章 半监督学习
    • 10.1 基本概念
    • 10.2 半监督学习算法
  • 第十一章 概率图模型
    • 11.1 PGM简介
    • 11.2 有向图模型（贝叶斯网络）
    • 11.3 无向图模型（马尔科夫随机场）
    • 11.4 学习和推断
    • 11.5 典型概率图模型
    • 附 第十一章作业
  • 第十二章 集成学习
    • 12.1 简介
    • 12.2 Bagging
    • 12.3 Boosting
    • 附 第十二章作业
由 GitBook 提供支持
在本页
  • 一、概念
  • 二、方法

这有帮助吗？

在GitHub上编辑
  1. 第一章 概述

1.1 概述

一、概念

1.1 什么是模式？

模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息

1.2 模式的直观特征

  • 可观察性

  • 可区分性

  • 相似性

1.3 模式识别与机器学习的目的

利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。

Y=F(X)Y = F(X)Y=F(X)

  • X：定义域取自特征集

  • Y：值域为类别的标号集

  • F：模式识别的判别方法

机器学习利用大量的训练数据可以获得更好的预测结果。

1.4 什么是机器学习？

机器学习是研究如何构造理论、算法和计算机系统，让机器通过从数据中学习后可以进行如下工作：分类和识别事物、推理决策、预测未来等。

二、方法

2.1 模式识别与机器学习的目标

  • 模式识别：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说

  • 机器学习：针对某类任务T，用P衡量性能，根据经验来学习和自我完善，提高性能

特征空间 ：从模式得到的对分类有用的度量、属性或基元构成的空间 解释空间 ：将c个类别表示为ωi∈Ω,i=1,2,⋯,cωi∈Ω,i=1,2,⋯ ,cωi∈Ω,i=1,2,⋯,c\omega_{i} \in \Omega, i=1,2,\cdots,cωi∈Ω,i=1,2,⋯,cωi​∈Ω,i=1,2,⋯,c。其中，Ω\OmegaΩ为所属类别的集合，称为解释空间

2.2 获得假说的两种方法

  • 监督学习：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果

    • 依靠已知所属类别的训练样本集，按它们特征向量的分布来确定假说 （通常为一个判别函数），在判别函数确定之后能用它对未知的模式进行分类

    • 对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练

  • 非监督学习：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说

    • 在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况

    • 如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类

    • 这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果

2.3 主要的分类和学习方法

  • 数据聚类

    • 目标：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集

    • 性质：是一种非监督学习的方法，解决方案是数据驱动的

  • 统计分类

    • 基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法

    • 特征向量分布的获得是基于一个类别已知的训练样本集

    • 是一种监督分类的方法，分类器是概念驱动的

  • 结构模式识别

  • 神经网络

  • 监督学习

  • 无监督学习

  • 半监督学习

  • 增强学习

  • 集成学习

  • 深度学习

  • 元学习

  • 多任务学习

  • 多标记学习

  • 对抗学习

上一页课程概况下一页2.1 模式识别与机器学习的目标

最后更新于1年前

这有帮助吗？