📔
国科大模式识别与机器学习笔记 2023
  • 课程概况
  • 第一章 概述
    • 1.1 概述
  • 第二章 生成式分类器
    • 2.1 模式识别与机器学习的目标
    • 2.2 正态分布模式的贝叶斯分类器
    • 2.3 均值向量和协方差矩阵的参数估计
    • 附 第二章作业
  • 第三章 判别式分类器
    • 3.1 判别式分类器与生成式分类器
    • 3.2 线性判别函数
    • 3.3 广义线性判别函数
    • 3.4 Fisher线性判别
    • 3.5 感知器算法
    • 3.6 可训练的确定性分类器的迭代算法
    • 3.7 势函数法
    • 3.8 决策树
    • 附 第三章作业
  • 第四章 特征选择和提取
    • 4.1 模式类别可分性的测度
    • 4.2 特征选择
    • 4.3 离散K-L变换
    • 附 第四章作业
  • 第五章 统计机器学习
    • 5.1 机器学习简介
    • 5.2 统计机器学习
  • 第六章 有监督学习
    • 6.1 有监督学习
    • 6.2 回归任务
    • 6.3 分类问题
    • 附 第六章作业
  • 第七章 支持向量机
    • 7.1 线性支持向量机
    • 7.2 核支持向量机
    • 7.3 序列最小优化算法
    • 附 第七章作业
  • 第八章 聚类
    • 8.1 基本概念
    • 8.2 经典聚类算法
    • 附 第八章作业
  • 第九章 降维
    • 9.1 基本概念
    • 9.2 维度选择
    • 9.3 维度抽取
  • 第十章 半监督学习
    • 10.1 基本概念
    • 10.2 半监督学习算法
  • 第十一章 概率图模型
    • 11.1 PGM简介
    • 11.2 有向图模型（贝叶斯网络）
    • 11.3 无向图模型（马尔科夫随机场）
    • 11.4 学习和推断
    • 11.5 典型概率图模型
    • 附 第十一章作业
  • 第十二章 集成学习
    • 12.1 简介
    • 12.2 Bagging
    • 12.3 Boosting
    • 附 第十二章作业
由 GitBook 提供支持
在本页
  • 3.1.1 分类器
  • 生成式模型
  • 判别式模型
  • 3.1.2 两者的区别

这有帮助吗？

在GitHub上编辑
  1. 第三章 判别式分类器

3.1 判别式分类器与生成式分类器

上一页附 第二章作业下一页3.2 线性判别函数

最后更新于1年前

这有帮助吗？

分类是监督学习的主要任务之一

3.1.1 分类器

  • 分类器：条件概率分别或判别函数

    • 条件概率分布P(y∣x)P(y|x)P(y∣x)：对于输入x，比较属于所有类的概率，输出概率最大的最为x的类别

    • 判别函数y=f(x)y=f(x)y=f(x)：对于输入x，将输出y与阈值比较，判定x属于哪个类

生成式模型

  • 要学习所有的样本

  • 利用条件概率进行预测

判别式模型

  • 直接估计分布函数

  • 利用分布函数确定输出类别

  • 不需要学习所有样本

3.1.2 两者的区别

  • 生成式模型学习了联合概率分布，可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度，但是它不关心划分各类的边界

  • 生成式模型的学习收敛速度更快，即当样本容易增加的时候，学到的模型可以更快地收敛于真实模型

  • 生成模型能够应付存在隐变量的情况

  • 联合分布能提供更多的信息，但也需要更多的样本和更多计算，尤其是为了更准确估计类别条件分布，需要增加样本的数目，而且类别条件概率的许多信息是我们做分类用不到，因而如果我们只需要做分类任务，就浪费了计算资源

  • 实践中多数情况下判别模型效果更好