生成式模型与判别式模型

生成式模型直接对联合分布进行建模，判别式模型对条件分布进行建模，这是什么意思呢？

首先要铺垫几个概念。

输入空间，输出空间，样本点

在监督学习中，将输入与输出所以可能的取值的集合分别称为输入空间与输出空间。
每个具体的输入是一个实例，通常由特征向量表示。在监督学习中，将输入与输出看作是定义在输入空间与输出空间上的随机变量的取值。输入、输出变量用大写字母$X$、$Y$表示，输入、输出变量的取值用$x$、$y$表示。
监督学习从训练数据集合中学习模型，对测试数据进行预测。训练数据由输入与输出对组成，训练集通常表示为 $T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$ 输入与输出对又称为样本或样本点。

模型

模型属于由输入空间到输出空间的映射的集合。监督学习的模型可以是概率模型或非概率模型，由条件概率分布$P(X \mid Y)$或决策函数$Y = f(X)$表示。

铺垫完之后，可以定义生成模型与判别模型。

生成模型与判别模型

监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型的一般形式为决策函数 $Y = f(X)$ 或者条件概率分布

$P = (Y \mid X)$ 监督学习方法又可分为生成方法和判别方法。所学到的模型分别称为生成模型和判别模型。
生成方法由数据学习联合分布$P(Y, X)$，然后求出条件概率分布 $P(Y \mid X) = \frac{P(X,Y)}{P(X)}$ 判别方法由数据直接学习决策函数$f(X)$或者条件概率分布$P(Y \mid X)$。

其中有几点需要解释一下。

1. 联合分布$P(X, Y)$不必直接学得，也可以通过学习$P(Y)$和$P(X \mid Y)$间接学得：$P(X, Y)=P(Y)P(X \mid Y)$。
2. 联合概率分布是样本点的概率分布，知道了样本点的概率分布，就可以生成样本点，所以叫生成模型。
3. 生成模型和判别模型都可以直接或间接学习$P(Y \mid X)$，区别是生成模型直接或间接地多学了$P(X,Y)$，而判别模型只能学习$P(Y \mid X)$。

所以，更准确的定义是，
生成式模型可以学习$P(X,Y)$和$P(Y \mid X)$，判别式模型只能学习$P(Y \mid X)$。

参考资料
《统计学习方法》，李航
《机器学习》，周志华