【泛函基础】变分推断详解(一)
创始人
2025-06-01 13:54:18
0

目录

  • 1 引言
  • 2 前置知识
    • 2.1 隐变量
    • 2.2 先验分布
    • 2.3 后验分布
    • 2.4 边缘分布
    • 2.5 贝叶斯公式
  • 3 简单理解变分推断
  • 参考文献

1 引言

  在学习机器学习和深度学习的过程中,基础的数学知识粗略的可以分为两大类:矩阵论和概率论,基本都逃不过这两个框架(除了优化问题)。而在概率论中尤其以变分推断用的最为广泛,无论是最新的深度学习算法还是机器学习基础,各种知识方法总是存在着对变分推断这一部分知识的交叉。因此掌握变分推断是十分重要的(模型要用啊),所以才有了这篇文章,其中内容图片多有参考他人文章,相关参考来源一并在参考文献中给出链接

2 前置知识

2.1 隐变量

2.2 先验分布

2.3 后验分布

2.4 边缘分布

2.5 贝叶斯公式

3 简单理解变分推断

  首先,我们的原始目标是,需要根据已有数据推断需要的分布 ppp;当 ppp 不容易表达,不能直接求解时,可以尝试用变分推断的方法, 即,寻找容易表达和求解的分布 qqq,当 qqq 和 ppp 的差距很小的时候,qqq 就可以作为 ppp 的近似分布,成为输出结果了。在这个过程中,我们的关键点转变了,从“求分布”的推断问题,变成了“缩小距离”的优化问题。
在这里插入图片描述

黄色的分布是我们的原始目标 ppp,不好求。它看上去有点像高斯,那我们尝试从高斯分布中找一个红qqq和一个绿qqq,分别计算一下 ppp 和他们重叠部分面积,选更像 ppp 的 qqq 作为 ppp 的近似分布。上面是对变分推断的一个直接理解,距离深入理解模型还有距离。

参考文献

[1]如何简单易懂地理解变分推断(variational inference)?
[2]变分推断的本质:用一个简单分布拟合另一个复杂分布
[3][贝叶斯统计] 2 隐变量模型,随机变分推断和VAEs
[4]【机器学习】高斯混合模型详解

相关内容

热门资讯

做好银行移动应用转型加减法 近期,多家银行加速整合分散在不同领域的手机APP,如中国银行关停其独立信用卡APP并将功能迁移至中国...
以“优势资源”进行养老金储备与... 20世纪80年代以来,挪威、智利、俄罗斯等经济体采取了利用优势资源弥补资金缺口的方式,以应对养老金不...
黄金概念股早盘走强,黄金股相关... 黄金概念股早盘走强,山东黄金涨超6%,招金矿业涨超3%,中金黄金、赤峰黄金、山金国际涨超2%。 受盘...
遇见·朋友 同行致远 | 维力... 12月20日,以“遇见·朋友-同行致远”为主题的2025年维力医疗科创园企业家见面会圆满举行。科创园...
“小而美”突围港交所:希迪智驾... 本文系深潜atom第990篇原创作品 2025年11月28日,专注于商用车智能驾驶领域的希迪智驾科技...
2025第六届鲸潮奖颁奖盛典举... 12月21日,2025第六届鲸潮奖颁奖典礼落地北京三里屯洲际酒店,评选结果重磅揭晓,腾易科技凭借过去...
身家145亿元富豪俞发祥被采取... 三家上市公司均表示,截至公告披露日,公司未收到有关机关要求公司协助调查的通知,公司控制权未发生变化。...
2027年底可能再上涨38%,... 2025年A股行情即将收官,从25年的A股走势分析,沪深北三大市场指数的涨幅可观。根据12月22日的...
12月22日融资余额24919... 每经AI快讯,交易所最新公布的数据显示,截至12月22日,沪深两市的融资融券余额为25088.16亿...
中国内地新增70位亿万富豪,9... 日前,瑞银发布了第11份《亿万富豪报告》,透视拥有超过10亿美元资产的人士的财富版图。数据显示,20...
全球媒体聚焦 | 《金融时报》... 英国《金融时报》12月22日发表的一篇报道指出,中国正凭借绿色技术领域的主导优势,在全球清洁燃料竞争...
原创 聊... 我之前写过不少宏观经济的文章,但从来没有聊过股市。我自己有一个货币银行学的博士学位,多少算有点相关知...
和罗永浩的争端未了,华与华兄弟... 12月22日晚,读客文化(301025.SZ)发布《关于筹划控制权变更暨停牌的公告》称,公司于12月...
长荣股份:公司不存在逾期担保 证券日报网讯 12月22日晚间,长荣股份发布公告称,本次提供担保后,公司及控股子公司的担保额度总金额...
明年1月四成中日航线停售 被取... [ 根据航班管家DAST计划数据,截至2025年12月22日,2026年1月中国内地赴日航班取消量已...
美ONE蔚英辉:直播间的意义不... 封面新闻记者 吴雨佳 2025年,直播行业的核心趋势是从追求流量增长转向深耕内容与价值创造。理性消费...
原创 帮... 各位朋友,我是帮主郑重。每到年底啊,咱们投资者都容易犯两个毛病:要么忙着“算账”,盯着今年的盈亏反复...
EA股东批准550亿美元出售公... IT之家 12 月 23 日消息,艺电公司(Electronic Arts Inc.)股东批准了以 ...
盘前必读丨美股收涨特斯拉再创新... 【财经日历】 国新办就新时代交通运输服务经济社会高质量发展有关情况举行新闻发布会 广期所调整碳酸锂期...
原创 2... 2025年A股行情即将收官,从25年的A股走势分析,沪深北三大市场指数的涨幅可观。根据12月22日的...