Dirichlet Process

Dirichlet过程是一个常用于非参数模型的随机过程，对于随机过程的性质可以类比于Gauss过程。它是一个定义在分布上的分布，也就是说每一个Dirichlet过程的样本都是一个分布。从Dirichlet过程中抽样的分布是离散的，但是不能用有限个参数表示这样的过程，因为在每个点（无穷维）都可以定义采样点，因此这是一个非参数的模型。

我们考虑下面这样一个hierarchical的模型：

一个Dirichlet distribution是定义在K维的单纯形上面的分布：

我们说具有以下密度函数形式的称为Dirichlet 分布:

Dirichlet 分布的性质

1.可加性：

若有：
$则$
2.累乘性质：
$若有其中则$
那么Dirichlet Process可以看成无穷维度的Dirchlet分布：

Dirichlet process

狄利克雷过程是定义在分布（概率测度）上的分布,对于任意base distribution H的有限划分，有

其中是Dirichlet 分布。

注意到Dirichlet是离散的分布，分布函数是一个阶梯函数。

Dirichlet 后验

假设我们从Dirichlet过程F中采样出来了,根据bayes公式我们可以算得后验分布：

注意到后验分布的基分布是关于原来先验的基分布H和经验分布的加权分布。

生成Dirichlet Process

Blackwell-MacQueen Urn Scheme

生成过程：

每一个中的值都对应一个独立的颜色，从取球的颜色，我们有一个缸来装球。最开始缸里没有球，我们从分布H中取颜色，用这个颜色涂一个球，放入缸中。在接下来的步骤中(n+1步)，我们要么以概率选个新的颜色，用这个颜色涂一个球放进缸里，要么以概率从缸里取一个球，用这个球的颜色涂一个新的球，再把两个球一起放进去。