> For the complete documentation index, see [llms.txt](https://aye10032.gitbook.io/prml-note/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://aye10032.gitbook.io/prml-note/di-er-zhang-sheng-cheng-shi-fen-lei-qi/2.1-mo-shi-shi-bie-yu-ji-qi-xue-xi-de-mu-biao.md).

# 2.1 模式识别与机器学习的目标

**判别式的分类器**：

* 即建立一个映射$$y=F(x)$$
* 是非概率的，确定的

但是现实中，并非所有事件都是因果对应的，而是概率性的，此时判别式的模式识别就不再能解决问题。需要用模式集的统计特征来分类，使得分类器发生错误的概论最小。

### 2.1.1 贝叶斯判别原则

#### 贝叶斯公式

$$
P(A|B) = \frac{p(B|A)p(A)}{p(B)}
$$

#### 贝叶斯判别

将实例带入其中，假设有两种模式$$\omega\_1$$和$$\omega\_2$$，需要分析$$x$$来自其中哪个，则有

$$
P(\omega\_1|x)=\frac{p(x|\omega\_1)p(\omega\_1)}{p(x)} \ P(\omega\_2|x)=\frac{p(x|\omega\_2)p(\omega\_2)}{p(x)}
$$

以其中第一个式子举例，

* 要求的 $$P(\omega\_1|x)%$$ 即为 $$x \in \omega\_1$$ 的概率，称为<mark style="color:orange;">**后验概率**</mark>
* $$p(\omega\_1)$$ 是来自数据集和历史数据，称为<mark style="color:orange;">**先验概率**</mark>
* $$p(x|\omega\_1)$$ 是x的条件概率，这里也称为<mark style="color:orange;">**似然函数**</mark>
* $$p(x)$$ 是全概率

{% hint style="warning" %}
这里全概率计算时也可能是使用条件概率来计算的，但是在贝叶斯判别中将其称为全概率
{% endhint %}

实际上在使用中，由于每个后验概率的全概率是相同的，因此只需要比较分子即可，进一步说，比较似然函数和先验函数即可。

$$
若P(\omega\_1|x) > P(\omega\_2|x)，则c\in \omega\_1 \ 若P(\omega\_1|x)< P(\omega\_2|x)，则c\in \omega\_2
$$

特别的，将$$l\_{12}(x)=\dfrac{p(x|\omega\_1)}{p(x|\omega\_2)}$$称为<mark style="color:orange;">**似然比**</mark>，将$$\theta\_{21} = \dfrac{P(\omega\_2)}{P(\omega\_1)}$$称为似然比的<mark style="color:orange;">**判决阈值**</mark>，则将上式简化可得：

$$
若l\_{12}(x) > \theta\_{21}，则c\in \omega\_1 \ 若l\_{12}(x) < \theta\_{21}，则c\in \omega\_2
$$

此判别就称为<mark style="color:orange;">**贝叶斯判别**</mark>。

{% hint style="info" %}
**例**：假设对地震进行分析，$$\omega\_1$$表示地震，$$\omega\_2$$表示正常，根据统计得知$$P(\omega\_1)=0.2$$。而生物是否发生异常反应是与地震发生与否相关的，统计地震前一周生物是否发生异常，得到了以下数据：

* 地震前一周生物发生异常的概率为0.6
* 地震前一周生物没有发生异常的概率为0.4
* 没有发生地震但生物发生异常的概率为0.1
* 没有发生地震且生物没有异常的概率为0.9

那么某日观测到生物发生异常，问是否会发生地震？

由题意可知：

$$
\begin{align} \&P(\omega\_1) = 0.2 \ \ P(\omega\_2) = 0.8 \nonumber\ \&p(x=\text{异常}|\omega\_1) =0.6 \ \ p(x=\text{正常}|\omega\_1)=0.4\nonumber\ \&p(x=\text{异常}|\omega\_2) =0.1 \ \ p(x=\text{正常}|\omega\_2)=0.9\nonumber\ \end{align}
$$

带入贝叶斯公式，有：

$$
\begin{align} P(\omega\_1|x=异常) &= \frac{p(x=异常|\omega\_1)P(\omega\_1)}{p(x=异常)} \nonumber \ &=\frac{p(x=异常|\omega\_1)P(\omega\_1)}{p(x=异常|\omega\_1)P(\omega\_1) + p(x=异常|\omega\_2)P(\omega\_2)} \nonumber \ &= \frac{0.6\times0.2}{0.6\times0.2+0.1\times0.8} = 0.6 \nonumber \end{align}
$$

计算似然比与判决阈值：

$$
l\_{12} = \frac{p(x=异常|\omega\_1)}{p(x=异常|\omega\_2)} = 6\ \theta\_{21} = \frac{P(\omega\_2)}{P(\omega\_1)} = 4
$$

似然比大于判别阈值，因此会发生地震。
{% endhint %}

### 2.1.2 贝叶斯最小风险判别

实际上，不同模式<mark style="color:purple;">**误判的代价是不一样的**</mark>，因此需要对贝叶斯判别做一些修正，提出了<mark style="color:orange;">**条件平均风险**</mark> $$r\_j(x)$$。

#### M类分类问题的平均条件风险

对于M类分类问题，若样本被判定为属于$$\omega\_j$$的平均风险为：

$$
r\_{ij}(x) = \sum\_{i=1}^ML\_{ij}P(\omega\_i|x)
$$

其中，$$L\_{ij}$$表示误判的损失，称为将属于$$\omega\_i$$类的物品误判为$$\omega\_j$$的<mark style="color:orange;">**是非代价**</mark>

一般而言，是非代价表现为一个<mark style="color:purple;">**对称阵**</mark>，其中$$L\_{ii}$$一般为0或负数，表示判定成功，其他值表示判定失败，用正数表示。

#### 最小平均风险

按照贝叶斯公式，最小平均风险可以表示为：

$$
r\_{j}=\frac{1}{p(x)}\sum\_{i=1}^{M} L\_{ij} p(x|\omega\_i)P(\omega\_i)
$$

其中全概率可以省去，因此最小平均风险可以表示为：

$$
r\_{j}=\sum\_{i=1}^{M} L\_{ij} p(x|\omega\_i)P(\omega\_i)
$$

#### 贝叶斯最小风险判别

对于M分类的情况，若 $$r\_i(x) < r\_j(x),j=1,2,\dots,M,\ j\neq i$$ ，则有$$x \in \omega\_i$$

对于是非代价，取

$$
L\_{ij} = \begin{cases} 0& \text{when}\ i=j\ 1& \text{when}\ i\neq j \end{cases}
$$

则条件平均风险表示为：

$$
\begin{align} r\_{j}&=\sum\_{i=1}^{M} L\_{ij} p(x|\omega\_i)P(\omega\_i) \nonumber \ &=L\_{1j}p(x|\omega\_1)P(\omega\_1) + L\_{2j}p(x|\omega\_2)P(\omega\_2) + \cdots + L\_{Mj}p(x|\omega\_M)P(\omega\_M) \nonumber \ &= \sum\_{i=1}^Mp(x|\omega\_i)P(\omega\_i) - p(x|\omega\_i)P(\omega\_i) \nonumber \ &=p(x)-p(x|\omega\_i)P(\omega\_i) \nonumber \end{align}
$$

记$$d\_i(x)=p(x|\omega\_i)P(\omega\_i),i=1,2,\dots,M$$，则有若$$d\_i(x) > r\_j(x)$$，则$$x \in \omega\_i$$