信息论随笔（三）交互信息量
admin
2024-01-31 21:10:14
0次

之前讨论了一个事件的自信息量，但是实际情况下往往有多个事件发生，而且这些事件之间相互是有联系的。比如知道一个人踢足球，那么这个人很有可能会看世界杯。也就是说，我们可以通过一个事件获得另外一个事件的信息，或者说，消除另外一个事件的不确定性。（信息量是用来衡量不确定性的。）那么，如何在数学上表示这种情况呢？

考虑事件A和事件B，它们发生的概率分别是P(a)和P(b)。如何计算事件A可以从事件B中获得多少信息量？

事件B发生前，事件A的信息量（不确定性）I_1：log(\frac 1 {P(a)})

事件B发生后，事件A的概率是在事件B发生条件下的概率：P(a|b)，事件A的信息量（不确定性）I_2为log(\frac 1 {P(a|b)})

那么事件A从事件B中获得的信息量即I_1-I_2。事件A的不确定性被事件B消除了一部分，所以信息量减少了。

I(A;B)=log(\frac 1 {P(a)}) - log(\frac 1 {P(a|b)})=log(\frac {P(a|b)} {P(a)})

由于P(a|b) = \frac {P(ab)}{P(b)}，代入上式可得I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {P(b|a)}{P(b)})，该式子等于事件B从事件A中获得的信息量。

上式表明了事件A从事件B中获得的信息量与事件B从事件A中获得的信息量是相同的，交互信息量是对称的。

对上个式子进行变形，还可以得到I(A;B)=log(\frac {P(ab)} {P(a)P(b)})=log(\frac {1}{P(a)})+log(\frac {1}{P(b)})-log(\frac {1}{P(ab)})

这个式子可以从系统的整体来看，系统的信息量的变化等于事件A的自信息量加上事件B的自信息量减去事件A和事件B同时发生的信息量。

所以交互信息量有3种算法：I(A;B) = H(A)-H(A|B)=H(B)-H(B|A)=H(A)+H(B)-H(AB)

其中H代表信息熵。（单个事件发生时信息熵就是这个事件的自信息量）

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：全网围剿“老小三”，这场闹剧该结束了 全网围剿“老小三”，这场闹剧该结束了

下一篇：塞维利亚1-1奥萨苏纳，伊萨克-罗梅罗破门，布季米尔扳平比分 塞维利亚vs赫罗纳进球数结果 今日足球推荐奥萨苏纳vs塞维利亚

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期... 　　蜻蜓订购APP以"投资平台"名义对外宣传，主打贵金属期货（订购）交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗... 　　近期，有投资者反映，“悟空订购APP”等平台以白银、贵金属订购为名，宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局，平... 　　“小赢淘金”之流，最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗... 　　警惕！八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易！　　...
智易购APP贵金属订购交易骗局... 　　很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传，很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局... 　　喜玛银庄APP白银、铂金“现货订购”骗局警示：无资质平台涉嫌非法期货交易，投资者爆仓后如何维权？...
吉鑫乐享APP炒贵金属订购交易... 　　近期，多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损，甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局，... 　　“易掘金”的APP它打着“高收益、灵活投资”的旗号，宣称通过“商品订购”就能轻松赚钱，吸引了不少...
在大吉订购APP订购交易亏损被... 　　近期，不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损... 　　许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道，殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏... 　　白银、贵金属或其他商品类投资，除国家批准的正规期货交易场所及持牌期货公司外，市面上大量第三方交易...
铂银掘金APP无资质的违规平台... 　　铂银掘金等平台的投资者，往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引，进而下载...
八方淘金APP订购交易不合规，... 　　“八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名，实际采用高杠...
在指尖订购APP订购商品亏损被... 　　指尖订购APP这类平台，表面是“订购交易”，实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易... 　　市面上打着“现货投资”“贵金属交易”旗号的APP并不少，但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易... 　　易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号，实则通过不合规的交...
大浪淘金APP白银订购亏损被骗... 　　大浪淘金APP最隐蔽的套路，在于其完全封闭的内盘交易系统。表面上，它宣称与国际贵金属市场接轨；实...
一品好购APP上订购白银出现亏... 　　一品好购APP原名“一品订购”，运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗... 　　九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告，用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规... 　　当前，市面上大量所谓的“现货商城订购”交易软件，早已偏离了正常的实物商品买卖，演变为高杠杆、高手...