Gibbs distribution 玻尔兹曼分布

玻尔兹曼分布 - 维基百科，自由的百科全书

通俗理解玻尔兹曼分布(Gibbs分布) - 知乎

这是一个很有代表性的问题！玻尔兹曼分布（Boltzmann distribution）和正态分布（Gaussian/Normal distribution）都属于概率论和统计物理中的核心分布，它们之间确实有紧密联系，但又各有应用侧重。下面系统性地说明两者的联系和区别。

1. 玻尔兹曼分布的定义

玻尔兹曼分布，也叫Gibbs分布（在统计物理中尤为常用），描述的是系统处于能量为 $E(x)$ 的状态 $x$ 的概率：

$p(x) = \frac{1}{Z} e^{-\beta E(x)}$

• $E(x)$：状态 $x$ 的能量
• $\beta = \frac{1}{k_B T}$：倒温度，$k_B$ 为玻尔兹曼常数，$T$ 为温度
• $Z$：配分函数，归一化常数，$Z = \sum_x e^{-\beta E(x)}$

2. 正态分布的定义

正态分布（高斯分布）是连续随机变量的分布，形式为：

$p(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( - \frac{(x - \mu)^2}{2\sigma^2} \right)$

• $\mu$：均值
• $\sigma^2$：方差

3. 两者的联系

（1）正态分布是玻尔兹曼分布的一个特例

• 玻尔兹曼分布的核心思想是“概率与能量负相关”，能量越低概率越大。能量函数$E(x)$可以是任意形式。
• 如果把能量函数取成二次型：$E(x) = \frac{1}{2}(x - \mu)^2 / \sigma^2$，并设置$\beta=1$，则玻尔兹曼分布正好化简为标准正态分布的形式：

$p(x) = \frac{1}{Z} e^{-\frac{1}{2}(x-\mu)^2 / \sigma^2}$

归一化后，$Z = \sqrt{2\pi \sigma^2}$，这就是正态分布。

• 换言之，正态分布是玻尔兹曼分布在“能量=平方误差”时的特例。

（2）指数族分布和能量函数

• 正态分布、玻尔兹曼分布都属于指数分布族。
• 玻尔兹曼分布是通用框架，能量函数$E(x)$可以非常灵活；正态分布的能量函数是二次型，导致分布呈现“钟形”对称。

4. 实际意义与应用侧重

• 玻尔兹曼分布：用于统计物理、马尔可夫链蒙特卡洛、最大熵建模、机器学习（如玻尔兹曼机、Gibbs采样）等，只要能定义能量函数都能用玻尔兹曼分布描述。
• 正态分布：在自然界、信号处理、统计推断等广泛出现，适用于独立同分布噪声、中心极限定理等情景。

5. 总结与直观理解

• 玻尔兹曼分布是一个通用的概率分布公式，能量函数可以任意给定。

• 正态分布是其中一种特定情形：当能量函数是$(x-\mu)^2$时，玻尔兹曼分布就变成正态分布。

• 这种联系可以表述为：

  所有正态分布都是玻尔兹曼分布，但不是所有玻尔兹曼分布都是正态分布。

公式归纳

• 玻尔兹曼分布（通式）：

  p(x)∝e−βE(x)p(x) \propto e^{-\beta E(x)}

• 正态分布（能量为二次项）：

  p(x)∝e−(x−μ)22σ2p(x) \propto e^{-\frac{(x-\mu)^2}{2\sigma^2}}

一句话总结：

正态分布是玻尔兹曼分布能量为二次型时的一个特例。玻尔兹曼分布更通用，正态分布则是最经典、最常见的特殊情况之一。