信息论随笔（三）交互信息量
admin
2024-01-31 21:10:14
0次

之前讨论了一个事件的自信息量，但是实际情况下往往有多个事件发生，而且这些事件之间相互是有联系的。比如知道一个人踢足球，那么这个人很有可能会看世界杯。也就是说，我们可以通过一个事件获得另外一个事件的信息，或者说，消除另外一个事件的不确定性。（信息量是用来衡量不确定性的。）那么，如何在数学上表示这种情况呢？

考虑事件A和事件B，它们发生的概率分别是P(a)和P(b)。如何计算事件A可以从事件B中获得多少信息量？

事件B发生前，事件A的信息量（不确定性）I_1：log(\frac 1 {P(a)})

事件B发生后，事件A的概率是在事件B发生条件下的概率：P(a|b)，事件A的信息量（不确定性）I_2为log(\frac 1 {P(a|b)})

那么事件A从事件B中获得的信息量即I_1-I_2。事件A的不确定性被事件B消除了一部分，所以信息量减少了。

I(A;B)=log(\frac 1 {P(a)}) - log(\frac 1 {P(a|b)})=log(\frac {P(a|b)} {P(a)})

由于P(a|b) = \frac {P(ab)}{P(b)}，代入上式可得I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {P(b|a)}{P(b)})，该式子等于事件B从事件A中获得的信息量。

上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的，交互信息量是对称的。

对上个式子进行变形，还可以得到I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {1}{P(a)})+log(\frac {1}{P(b)})-log(\frac {1}{P(ab)})

这个式子可以从系统的整体来看，系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。

所以交互信息量有3种算法：I(A;B) = H(A)-H(A|B)=H(B)-H(B|A)=H(A)+H(B)-H(AB)

其中H代表信息熵。（单个事件发生时信息熵就是这个事件的自信息量）

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：全网围剿“老小三”，这场闹剧该结束了 全网围剿“老小三”，这场闹剧该结束了

下一篇：塞维利亚1-1奥萨苏纳，伊萨克-罗梅罗破门，布季米尔扳平比分 塞维利亚vs赫罗纳进球数结果 今日足球推荐奥萨苏纳vs塞维利亚

相关内容

热门资讯

2026快手创新与知识产权白皮... 快手以技术创新链与产业应用链双螺旋为核心架构，搭配知识产权支撑体系，形成 AI 时代完整的创新与价值...
被救活了！澳洲这个知名网购平台... 好消息！Click Frenzy被救活啦！ Click Frenzy，是澳洲一个线上大促平台，前段时...
追觅CEO俞浩一天发了117条... 近日，追觅科技CEO俞浩在个人社交平台开启超高强度更新模式。短短三天时间里，他在多个社交平台密集发布...
“红利+”策略指数走势分化，价... 5月6日早盘，市场震荡上行，科技成长方向表现强势，“红利+”策略指数走势分化。截至午间收盘，国证自由...
工业增加值增速创五年新高 福田... 凭借在人工智能领域的深耕，企业扎堆的福田区的天使荟·千模应用加速器不仅摘得深圳多项荣誉，更于近日获评...
原创 敢... 大家好，我是言叔。最近，79岁的“玻璃大王”曹德旺在公开场合放出一句霸气十足的狠话——面对美国可能加...
原创 丧... 溃败边缘狗急跳墙！泽连斯基攻击自家核电站，要拉欧洲同归于尽。战场即将崩盘、停战必死无疑，泽连斯基早已...
A股大涨，超4000只个股上涨... 五一小长假后首个交易日，A股三大指数集体高开，其中，上证指数高开0.57%，深证成指高开1.43%，...
五粮液的大戏，只是拉开序幕 4月30日，赶在五一假期前最后一个交易日，趁着全国人民准备出门旅游的当口，五粮液甩出了多份公告。 其...
原创 存... 这几天发生了不少大事，我们简单捋一捋。三部门放大招，要扩大科技创新贷款投放。 美国对欧盟汽车加征25...
A2奶粉因检出“呕吐毒素”在美... 北京5月5日电(记者 赵方园)新西兰乳企a2牛奶公司卷入蜡样芽孢杆菌毒素召回风波。 5月3日晚，中国...
新股消息 | 从招股书看好医生... 智通财经APP获悉，当市场仍习惯用“传统互联网医疗平台”甚至“传统医药流通渠道”来理解好医生云医疗时...
科创50指数大涨超8% 半导体... 上证报中国证券网讯 5月6日，A股主要股指早盘集体走强。截至午间收盘，沪指涨1.27%，深证成指涨2...
体验经济蓬勃发展，“五一”假期... 今年劳动节假期，部分省市放春假提前预热“假日经济”，传统热门目的地客流量持续增长，曾经的“小众目的地...
互学互鉴促合作 携手共赢谋发展... 5月4日，新乡市工商联“新商课堂”九期班开展企业互访活动。 首站参访了新乡市瑞龙商贸有限公司，该企...
港股异动｜诺比侃大跌15.8%... 诺比侃(2635.HK)大幅下跌15.8%，现报20.24港元股价再度逼近上市低位，市值76.7亿港...
文远知行股权曝光：韩旭持股6.... 雷递网 雷建平 5月6日 文远知行（WeRide）日前发布截至2025年12月31日的年报。年报显示...
马斯克同意支付超1000万元罚... 美国证券交易委员会（SEC）与马斯克就收购推特期间的违规诉讼达成和解，相关法庭文件正式提交。 根据协...
大盘放量上攻，全市场半日成交额... 5月6日早盘，A股三大指数集体走强，沪指涨1.27%，冲击五连阳，全市场成交额超2万亿元，较上一交易...
学法守法懂经营 合规治企促发展 为进一步规范机动车驾驶员培训行业经营秩序，指导驾培企业增强税法意识、防范涉税风险、用好税收政策，助力...