中国科学院物理研究所
北京凝聚态物理国家研究中心
T03组供稿
第15期
2019年03月05日
运用变分自回归网络求解统计力学问题
如何准确地计算多粒子系统的自由能和熵,以及对玻尔兹曼分布无偏地采样,是统计力学的核心问题之一。在统计物理百余年的历史上,物理学家发展了多种理论和方法来处理此类问题,包括平均场近似、变分法、消息传递算法、重正化群、蒙特卡罗方法、张量网络方法等等。在实际应用中,这些方法各有千秋。
从更广的角度看,统计物理的基本问题和机器学习中的非监督学习具有天然的联系:玻尔兹曼分布对应于贝叶斯理论中的后验概率;最小化自由能原理等价于求解变分推断问题;而对系统无偏采样正对应于设计生成模型。在最后这个方向上,Google DeepMind所发明的两类神经网络WaveNet和PixelCNN代表了深度学习研究成果的顶峰:它们都具有自回归神经网络的结构,分别在语音和图片合成上保持领先的性能。
受到这些成功模型的鼓励和启发,中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与材料计算重点实验室T03组的王磊副研究员与合作者提出了一种求解统计力学问题的计算方法—变分自回归网络(Variational Autoregressive Networks)。他们使用自回归神经网络构建变分概率分布,并通过强化学习中的策略梯度方法训练网络以得到最低的自由能。
该方法可以看作是传统平均场和变分方法的神经网络推广。它能给出自由能的变分上界,以及多粒子系统的能量、熵等热力学量,还可以直接地对系统无偏采样。作者将深度学习中发展的新技术引入基础研究,成功地应用于伊辛模型、自旋玻璃以及统计物理反问题等基本问题。多种精确和近似都被用来研究过这些问题,通过比对可以定量地展示新方法的优势。
相关论文被 Phys. Rev. Lett. 杂志遴选为编辑推荐文章。论文链接:https://journals.aps.org/prl/supplemental/10.1103/PhysRevLett.122.080602
此工作受到科技部(2016YFA0300603)和国家自然科学基金委(11774398)的资助。该论文的合作者包括北京大学物理学院的本科生吴典以及理论物理研究所的张潘研究员。作者发布了论文的开源代码实现https://github.com/wdphy16/stat-mech-van。可参见Flatiron Institute的Giuseppe Carleo在Journal Club for Condensed Matter Physics所撰写的评论文章https://www.condmatjclub.org/?p=3498 ,进一步了解此工作。
从更广的角度看,统计物理的基本问题和机器学习中的非监督学习具有天然的联系:玻尔兹曼分布对应于贝叶斯理论中的后验概率;最小化自由能原理等价于求解变分推断问题;而对系统无偏采样正对应于设计生成模型。在最后这个方向上,Google DeepMind所发明的两类神经网络WaveNet和PixelCNN代表了深度学习研究成果的顶峰:它们都具有自回归神经网络的结构,分别在语音和图片合成上保持领先的性能。
受到这些成功模型的鼓励和启发,中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与材料计算重点实验室T03组的王磊副研究员与合作者提出了一种求解统计力学问题的计算方法—变分自回归网络(Variational Autoregressive Networks)。他们使用自回归神经网络构建变分概率分布,并通过强化学习中的策略梯度方法训练网络以得到最低的自由能。
该方法可以看作是传统平均场和变分方法的神经网络推广。它能给出自由能的变分上界,以及多粒子系统的能量、熵等热力学量,还可以直接地对系统无偏采样。作者将深度学习中发展的新技术引入基础研究,成功地应用于伊辛模型、自旋玻璃以及统计物理反问题等基本问题。多种精确和近似都被用来研究过这些问题,通过比对可以定量地展示新方法的优势。
相关论文被 Phys. Rev. Lett. 杂志遴选为编辑推荐文章。论文链接:https://journals.aps.org/prl/supplemental/10.1103/PhysRevLett.122.080602
此工作受到科技部(2016YFA0300603)和国家自然科学基金委(11774398)的资助。该论文的合作者包括北京大学物理学院的本科生吴典以及理论物理研究所的张潘研究员。作者发布了论文的开源代码实现https://github.com/wdphy16/stat-mech-van。可参见Flatiron Institute的Giuseppe Carleo在Journal Club for Condensed Matter Physics所撰写的评论文章https://www.condmatjclub.org/?p=3498 ,进一步了解此工作。
图:变分自回归网络的结构 |