浅谈最大熵原理和统计物理学摘要在本文中我们将分别从物理和信息论角度简单讨论熵的意义并介绍由E.T.Jaynes所奠立基础的最大熵原理的原始理解。

透过研究理想气体，我们将阐述如何运用最大熵原理研究真实问题。

同时藉由简短分析统计物理学研究方法的问题，本文会给出最大熵原理更深层涵义及其应用。

我们将称之为最大熵原理第二延伸。

最后透过真实气体的研究，我们将描绘出如何运用第二延伸来帮助我们思考及研究热力学系统。

一、前言长时间以来人们对于熵有物理上的理解也有二、最大熵原理(Information theory) 上的理解。

物理上l、什么是最大熵原理信息论的熵可以说明热力学系统的演化方向、热平衡的达相信物理系学生和物理研究人员都很熟悉成与否亦或是代表系统的混乱程度等[1-3]。

在信Clausius的经验准则-热力学第二定律[1,2]。

该定息论里，信息熵则代表量测信息系统的可信度或者律说明当一个热力学系统达到最后热平衡状态时，是忽略度[3,4]。

然而不管物理或是信息论上对熵该系统的熵会达到最大值。

进一步的研究指出当系的理解，实际上仍局限于将熵视为一个量测的工统的熵最大时，其自由能将会成为最小。

在此一具。

正如我们可藉由系统能量的量测来了解系统状特性的影响下人们惯性的倾向于将熵视为类似能态稳定与否。

然而由于E.T.Jaynes的贡献，熵可量的巨观物理量。

此一物理量成为描述系统乱度的依据。

此后由于 Gibbs 引入 ensemble 观念，开视为一种研究问题的推理工具，这一层意义才为人所知[5,6]。

时至今日，我们虽然仍无法全盘了解启微观角度的研究方法因而奠立近代统计力学理熵的真正意含，但是我们也渐渐掌握熵在物理学尤解熵的理论基础。

在统计力学的观念中，观察者所其是统计物理中所能扮演的角色。

通过本文浅显的量测到该系统热力学性质之巨观物理量诸如系统介绍，我们将从过去Jaynes对于熵的认识到今日内能或压力，基本上只能以平圴值来表现。

原因在我们的新发现，掀开熵的神秘面纱。

于观察者无法明确掌握系统微观状态。

此种不确定性可以藉由机率分布如canonical ensemble来量定义为忽略度 (degree of ignorance) 或者描述化表示。

古典系统熵便可由此机率分布来定义出不了选取系统信息的倾向程度，称之为倾向度(degree Of likelihood) 。

通过 Cox 和 Skilling 连续表示，完全不同的论证[5,7]，信息熵的机率分布型式类似于热力学熵。

所不同者在于热力学熵含有波兹曼， (1) S,,kPlogP,biii常数。

这样的相似性直到 Jaynes 在1957 年的研式中代表波兹曼常数而为观察者量测到kPbi究才证明这个相似其实是相等[5]。

信息熵和热力系统处在状态时的机率分布。

或者是连续表示， i学熵实际上具有相同的含意。

Jaynes更进一步指出且证明最大熵原理 (maximum entropy principle)，，，，S,,kdqPqlogPq ， (2) 并不只是单纯的热力学第二定律。

他的研究指出，bNNN,最大熵原理不具任何物理意义仅是一个推论的工具。

藉由此原理，观察者所拥有的相关系统信息可式中，，代表空间和动量参数且q,r,pN以公正客观的被编入特定机率分布中来描述观察，，表示观察者量测到系统微观状态在PqdqNN者量测到系统微观状态的机会。

下一小节中我们将范围之机率份布。

对于量子统计系统， von dqN以理想气体为例具体说明在 Jaynes 的理解下，如Neumann 发现也同样存在着类似形式来描述系统何运用此一原理重现统计力学的结果并且通过这乱度。

他给出熵密度矩阵 (density matrix) 型样的方式我们将更能了解熵及最大熵原理在物理式，，，， ,qN上的含义和功用。

，，，，S,,kdq,qlog,q， (3) bNNN2、实例一:理想气体 ,假设一含有 N 个气体分子的理想气体已达热平衡状态，观察者可量测到该气体之总内能平均值。

不过这些熵的微观知识，只让我们了解到熵和用为以描述热力学系统物理量平均值的机率份布之间存在一个关联性。

除此之外，我们并未获得更多观念上的突破。

熵仍只是一个量测工具。

，，E,dqPqH(4)NN ,在 1940年代 Shannon 等人所发展的 2communication theory[4]也就是后来渐趋成熟且NpiH其中, 代表系统的汉米顿量,多元化的Information theory 中，也同样存在一2m,1i相似特性的量。

Shannon 也称之为熵，该量被视(Hamiltonian)，对于理想气体而言仅有动能而无为量测噪声如何影响系统中有用信息的程度，我们，，分子间相互作用能而 Pq代表我们量测到系N统微观能量状态等于时的 N 个分子机率分 H布。

关系式 (4)，我们称之为能量约束方程。

它描接着利用上两约束方程，我们可分别决定拉格朗日因子和。

最后我们可得到最合适描述此,,述了我们对于理想气体有关能量部分信息的了解。

无庸至疑的，我们也知道机率分布需要满理想气体的机率分布，，，，， PqPqNN足下列约束方程，1,,H (8) ，，Pq,eN Z，，dqPq,1(5) NN ,为 N 个理想气体分子分配函数 (partition Z。

现在function) 其值为，所有系统可能状态的机率分布总合要等于1的问题是我们如何找到合适的，，可以同时Pq NN满足此二约束方程。

因为唯有知道确实的机率分V,,,,H(9) Z,dqe,,,N ,3布，我们才有办法继续研究此一系统的其它物理牲,,,质。

根据 Jaynes 的研究，最大熵原理告诉我们，当此系统达到热力学平衡时，最有可能的机率分布122，，将会使熵达到最大值。

具体来说，最大熵Pq,,N2,, ,,其中为大家所熟知的热力学波,, ,,mkT原理说明在约束方程 (4) 和 (5) 的条件考虑下B,,最大化熵。

此最大化过程可由变分原理来达成。

首长。

通过分配函数，系统的 Helmholtz 自由能可先我们分别针对式 (4) 和 (5) 引入两拉格朗日由下推导得出因子 (Lagrangian multipliers) 和，我,,们得到以下变分方程， V(10) F,,kTlogZ,,NkTlogbb3 ,,,S,dqPq,1,，，，， NN, (6)此理想气体的各种物理性质如压力变化、相图都可,，，，，,,dqPqH,E,0NN,以由此依序获得。

这也就是统计力学中的canonical ensemble 方法。

若我们获取更多关于，，将式 (2) 代入上式后对Pq变分，我们可以N 此一理想气体的信息，如观察者所量测之总粒子数，，得到PqN 平均值可由粒子数密度来关联时,1,,,,H，，Pq,eN (7) ，，，，N,dqPqnr(11) NN ,如此一来一个具有最小偏差的研究理论可于焉诞其中代表 N 颗气体分子密度分布。

我们则，，nr生。

可得到 grand canonical ensemble三、统计物理学的问题3ˆ，，，，,,H,,drnr1,根据上述分析，使用最大熵原理作为统计力学(12) ，，Pqe,N ZN的研究方法基本上可以区分成两部分讨论。

第一部份为物理部份，唯有具备正确且相关于待研究系统N的物理信息，恰当约束方程才能给定。

第二部分为V,,,,分配函数而化学能可由,Z,e,,N 3处理物理信息部份，亦即利用最大熵原理将相关,,, 信息做最佳编码以得机率分布。

上一节中，理想气约束方程 (11) 决定之。

体的研究便是最佳典范。

当理想气体的物理特性由通过此一例子，我们可了解不管是从物理理论如气约束方程 (4) 和 (5) 来描述后，canonical 体运动方程的推论而得到的 canonical ensembleensemble 的决定则单纯的由最大熵原理来进行。

或者 grand canonical ensemble 实际上与我们在其过程完全与物理无关。

很明显的因为最大熵原理考虑与系统相关约束方程下最大化熵的结果一致。

恒真，canonical ensemble 是否恰当描述理想气这样的结果揭示一个解决物理问题不一样的思维。

体则完全取决于约束方程的适当与否。

而正如前所也就是当我们将所知的物理知识当作是一种信息述由于约束方程的决定需要相关的物理知识协助来处理，则”如何解决物理问题“这个课题可以来决定。

如何抉择有助系统研究的物理信息是统计重新解读为如何有效诚实处理这些信息。

在这样的力学所需面对的第一个问题。

不幸的是目前为止，解读下最大熵原理已提供了最公正的解答。

换言并不存在一个系统化的方法来解答这个问题。

大多之，若我们拥有一系统充份相关的物理知识，如实数时候，人们还是只能依赖着尝试错误法或是从经验结果，我们便可给出与之相关的约束方程。

之后验、实验结果来判断。

这样的课题关连到所谓“观经由最大熵原理，我们便可公正客观的决定关于这念形成”的探讨，有待进一步研究来回答。

因此本些物理知识最佳的机率分布。

经由 Jaynes 的证文将不会针对此问题来进行深入讨论。

明，最大熵原理所扮演的角色不再仅是量测忽略度我们所关心的是除此之外，统计力学进一步所而已，它更是系统化将我们所知信息编码的推理工需面对的问题。

当机率分布如 canonical 具。

而且其应用不局限于 canonical ensemble 或ensemble 由最大熵原理给定后，我们如何去解读者是 grand canonical ensemble而是取决于我们这些机率分布以计算关于系统物理性质的期望值。

能获得何种信息。

正因如此过去人们处理如统计物换句话说，我们如何计算分配函数。

对于理想气体，理学的既定观念和方式将变为有所依循而且可避由于气体间不存在任何相互作用力，方程式 (9) 免许多针对特别问题由研究者所给定的人为假设。

中分配函数的计算是易如反掌。

但事实上由于复杂的相互作用力，真实系统的机率分布是难以计算。

要输入系统初始信息比如关于排斥力和吸引力信对于这样的机率分布我们称之为不可计算器率分息便可以产生恰当的近似法。

从信息论的角度审视，理论上的确存在这样一个方法[11]。

下一节中布。

因此当我们面对真实热力学系统时，如何处理复杂多体相互作用力成为统计力学中一必要课题。

将针对我们的发现做一讨论。

换句话说只有当我们理解如何有效处理复杂多体相互作用力，我们才可能发展合适的近似法来计算四、最大熵原理之第二延伸1、基本概念分配函数。

例如因为短距离排斥力和长距离吸引力的相互竞争造成流体不同于固体的物理性质，让我从信息论的角度来看，利用近似法来计算真实们知道要计算含有这些相互作用力的分配函数可系统分配函数这个方向，等同于利用一可计算且近似描述真实系统的机率分布族群取代真，，Pq以利用如平均场近似法来进行。