信息论随笔（三）交互信息量
admin
2024-01-31 21:10:14
0次

之前讨论了一个事件的自信息量，但是实际情况下往往有多个事件发生，而且这些事件之间相互是有联系的。比如知道一个人踢足球，那么这个人很有可能会看世界杯。也就是说，我们可以通过一个事件获得另外一个事件的信息，或者说，消除另外一个事件的不确定性。（信息量是用来衡量不确定性的。）那么，如何在数学上表示这种情况呢？

考虑事件A和事件B，它们发生的概率分别是P(a)和P(b)。如何计算事件A可以从事件B中获得多少信息量？

事件B发生前，事件A的信息量（不确定性）I_1：log(\frac 1 {P(a)})

事件B发生后，事件A的概率是在事件B发生条件下的概率：P(a|b)，事件A的信息量（不确定性）I_2为log(\frac 1 {P(a|b)})

那么事件A从事件B中获得的信息量即I_1-I_2。事件A的不确定性被事件B消除了一部分，所以信息量减少了。

I(A;B)=log(\frac 1 {P(a)}) - log(\frac 1 {P(a|b)})=log(\frac {P(a|b)} {P(a)})

由于P(a|b) = \frac {P(ab)}{P(b)}，代入上式可得I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {P(b|a)}{P(b)})，该式子等于事件B从事件A中获得的信息量。

上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的，交互信息量是对称的。

对上个式子进行变形，还可以得到I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {1}{P(a)})+log(\frac {1}{P(b)})-log(\frac {1}{P(ab)})

这个式子可以从系统的整体来看，系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。

所以交互信息量有3种算法：I(A;B) = H(A)-H(A|B)=H(B)-H(B|A)=H(A)+H(B)-H(AB)

其中H代表信息熵。（单个事件发生时信息熵就是这个事件的自信息量）

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：全网围剿“老小三”，这场闹剧该结束了 全网围剿“老小三”，这场闹剧该结束了

下一篇：塞维利亚1-1奥萨苏纳，伊萨克-罗梅罗破门，布季米尔扳平比分 塞维利亚vs赫罗纳进球数结果 今日足球推荐奥萨苏纳vs塞维利亚

相关内容

热门资讯

原创 继... 去年九月的那个深夜，白俄罗斯边境毫无征兆地熄火了，原本跑得飞快的中欧班列，在那一刻被人按下了暂停键。...
供应扰动再发酵，碳酸锂尾盘涨停... 经历了一次急速回调后，碳酸锂期货又杀了一个“回马枪”。 1月20日，碳酸锂期货主力合约在尾盘触及涨停...
原创 融... 2026年伊始，A股市场便以一派火热景象迎接投资者，市场热度在多个维度均有所体现，尤其以融资余额的迅...
财经老王丨140万亿元 跟咱老... 来源：甘肃网络广播电视台 2025年，中国经济总量突破140万亿元。这个数字跟咱们老百姓有啥关系呢？...
小红书奶茶养号秘诀——4288... 大家好，我是4288养号盒子，提供专业免费养号软件，不仅有抖音养号，还有小红薯养号等、还有短视频热门...
原创 干... 美国这些年总想在经济上给中国使绊子，从贸易战打到科技限制，可中国那边经济还是稳稳的往前拱。2018年...
纪念币纪念钞二手交易莫冲动 来源：经济日报 目前，二手市场高价接盘的风险很高。一方面，卖家无实物，且二手市场缺乏权威验货渠道，买...
“十年十亿”魔咒告破？全球巨头... 2026年开年，AI制药正以前所未有的速度冲击传统研发的“双十定律”——一款新药研发需要十年时间、耗...
红杉资本考虑参投Anthrop... 红杉资本正准备加入Coatue和新加坡主权财富基金GIC，参与人工智能初创公司Anthropic P...
大行回应！消费贷贴息政策升级，... 来源：第一财经 消费贷贴息政策迎来重要升级，落地细节备受关注。1月20日晚间，多家国有大行表态将积极...
民营经济发祥地温州GDP破万亿... 1月20日，温州市十四届人大六次会议召开，市长张文杰在作政府工作报告时透露：2025年该市地区生产总...
原创 俄... 编辑：G 2026年1月，俄罗斯主流媒体《生意人报》曝光了一则重磅消息，就像在全球商业圈扔了一颗深水...
一揽子政策公布！事关贷款贴息、... 今天（20日），财政部官网连续发布5个文件，涉及个人消费贷、民间投资等领域。 “延长、扩大、提高”成...
一个隐秘风口，微信成寡头了 出品｜虎嗅黄青春频道 作者｜商业消费主笔 黄青春 题图｜视觉中国 当聒噪的短剧让人直呼上头时，一个更...
弃购芯片设计、锁定双盈利引擎，... 停牌14天后，盈方微（000670.SZ）于1月20日携重大资产重组预案复牌。预案显示，公司拟以发行...
布局运动医学领域 爱博医疗拟收... 《科创板日报》1月20日讯（记者 黄修眉）爱博医疗今日（1月20日）晚间公告称，与德美联合（重庆）医...
一个月内两度抛出并购计划，明德... 自去年底宣布收购武汉必凯尔救助用品有限公司（以下简称“必凯尔”）100%股权后，明德生物（00293...
重庆A股40家上涨 新大正、康... 1月20日，79家重庆A股上市公司中有40家上涨，3家平收，下跌36家。 同花顺iFinD数据显示，...
原创 广... 观点网汇悦台，作为广州顶豪的代名词，每一套房产的易主或被拍卖，都能勾起市场对财富起落的好奇。 近日，...
莱欧制药携手合作，助力罕见皮肤... 在现代医学的发展中，罕见皮肤病的治疗始终面临着巨大的挑战。这些疾病的发病率低，导致很多患者在寻求有效...