11.4 学习和推断

我们已经使用概率图M描述了唯一的概率分布P，接下来，有两个典型任务：

• 我们如何回答关于$\color{blue}P_M$的查询，例如$P_M(X\mid Y)$？

  • 我们用推断来表示计算上述问题答案的过程

• 我们如何基于数据D估计合理的模型M？

  • 我们用学习来命名获得M的点估计过程

  • 对于贝叶斯学派，寻找$P(M\mid D)$实际上是一个推断过程

  • 当不是所有变量都是可观察时，即使是计算M的点估计，也需要使用推断处理隐含变量

11.4.1 推断

一、可能性推断

• 给定因求果：求边际概率：

$$p(y) = \sum_xp(y\mid x)p(x)$$

• 已知果推因：求后验概率：

$$p(x\mid y)=\frac{p(y\mid x)p(x)}{p(y)}$$

二、一般的推断方法

• 精确推断：计算代价高

  • 变量消去

  • 信念传播

• 近似推断：计算代价较低

  • 采样

  • 变分推断

11.4.2 变量消去法