📔
国科大模式识别与机器学习笔记 2023
  • 课程概况
  • 第一章 概述
    • 1.1 概述
  • 第二章 生成式分类器
    • 2.1 模式识别与机器学习的目标
    • 2.2 正态分布模式的贝叶斯分类器
    • 2.3 均值向量和协方差矩阵的参数估计
    • 附 第二章作业
  • 第三章 判别式分类器
    • 3.1 判别式分类器与生成式分类器
    • 3.2 线性判别函数
    • 3.3 广义线性判别函数
    • 3.4 Fisher线性判别
    • 3.5 感知器算法
    • 3.6 可训练的确定性分类器的迭代算法
    • 3.7 势函数法
    • 3.8 决策树
    • 附 第三章作业
  • 第四章 特征选择和提取
    • 4.1 模式类别可分性的测度
    • 4.2 特征选择
    • 4.3 离散K-L变换
    • 附 第四章作业
  • 第五章 统计机器学习
    • 5.1 机器学习简介
    • 5.2 统计机器学习
  • 第六章 有监督学习
    • 6.1 有监督学习
    • 6.2 回归任务
    • 6.3 分类问题
    • 附 第六章作业
  • 第七章 支持向量机
    • 7.1 线性支持向量机
    • 7.2 核支持向量机
    • 7.3 序列最小优化算法
    • 附 第七章作业
  • 第八章 聚类
    • 8.1 基本概念
    • 8.2 经典聚类算法
    • 附 第八章作业
  • 第九章 降维
    • 9.1 基本概念
    • 9.2 维度选择
    • 9.3 维度抽取
  • 第十章 半监督学习
    • 10.1 基本概念
    • 10.2 半监督学习算法
  • 第十一章 概率图模型
    • 11.1 PGM简介
    • 11.2 有向图模型（贝叶斯网络）
    • 11.3 无向图模型（马尔科夫随机场）
    • 11.4 学习和推断
    • 11.5 典型概率图模型
    • 附 第十一章作业
  • 第十二章 集成学习
    • 12.1 简介
    • 12.2 Bagging
    • 12.3 Boosting
    • 附 第十二章作业
由 GitBook 提供支持
在本页
  • 11.4.1 推断
  • 一、可能性推断
  • 二、一般的推断方法
  • 11.4.2 变量消去法

这有帮助吗？

在GitHub上编辑
  1. 第十一章 概率图模型

11.4 学习和推断

上一页11.3 无向图模型（马尔科夫随机场）下一页11.5 典型概率图模型

最后更新于1年前

这有帮助吗？

我们已经使用概率图M描述了唯一的概率分布P，接下来，有两个典型任务：

  • 我们如何回答关于PM\color{blue}P_MPM​的查询，例如PM(X∣Y)P_M(X\mid Y)PM​(X∣Y)？

    • 我们用推断来表示计算上述问题答案的过程

  • 我们如何基于数据D估计合理的模型M？

    • 我们用学习来命名获得M的点估计过程

    • 对于贝叶斯学派，寻找P(M∣D)P(M\mid D)P(M∣D)实际上是一个推断过程

    • 当不是所有变量都是可观察时，即使是计算M的点估计，也需要使用推断处理隐含变量

11.4.1 推断

一、可能性推断

  • 给定因求果：求边际概率：

p(y)=∑xp(y∣x)p(x)p(y) = \sum_xp(y\mid x)p(x)p(y)=x∑​p(y∣x)p(x)

  • 已知果推因：求后验概率：

p(x∣y)=p(y∣x)p(x)p(y)p(x\mid y)=\frac{p(y\mid x)p(x)}{p(y)}p(x∣y)=p(y)p(y∣x)p(x)​

二、一般的推断方法

  • 精确推断：计算代价高

    • 变量消去

    • 信念传播

  • 近似推断：计算代价较低

    • 采样

    • 变分推断

11.4.2 变量消去法