信息论随笔（二）信息熵及其性质
admin
2024-01-22 22:00:01
0次
回顾
上次讲到自信息量，也就是用来表示一个发生概率为p的事件含有的信息量，或者说不确定度。一个事件的发生的概率越小，它的不确定度越大，含有的信息量也就越大。
信息熵
那么如何来衡量一个系统（多个事件以不同的概率发生，它们发生的概率之和为1）的信息量呢？
考虑这么一个例子，某人参加一个比赛，赢的概率为0.3，输的概率为0.7，那么这个系统的信息量怎么计算？
一个直觉的计算方法是：.
即对系统中不同事件的自信息量取概率平均，从而得到这个系统的平均不确定度，也就是信息熵。
信息熵衡量了一个系统的平均不确定度，表示了这个系统的信息量。
从通信的角度来看，信息熵表示平均意义上每发一个符号的信息量，或者信源平均的不确定度。
性质
对称性
信息熵的对称性指只要一个系统总的概率分布不变，即使系统中的不同事件的概率发生了交换，信息熵仍然不变。
非负性
信息熵总是大于等于零的。一个事件的信息量至少为0，而不可能是负的，信息熵是信息量的平均，自然也不会是负的。
确定性
若事件发生概率为1，那么信息熵确定为0。
连续性
当不同事件的概率出现微小变化时，信息熵的变化也很小。
扩展性
略
可加性
H(XY)=H(X)+H(Y|X)
强可加性
当系统X和Y独立，H(XY)=H(X)+H(Y)
相关内容
热门资讯
蜻蜓订购APP贵金属订购非法期...
蜻蜓订购APP以"投资平台"名义对外宣传，主打贵金属期货（订购）交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...
近期，有投资者反映，“悟空订购APP”等平台以白银、贵金属订购为名，宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局，平...
“小赢淘金”之流，最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...
警惕！八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易！ ...
智易购APP贵金属订购交易骗局...
很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传，很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...
喜玛银庄APP白银、铂金“现货订购”骗局警示：无资质平台涉嫌非法期货交易，投资者爆仓后如何维权？...
吉鑫乐享APP炒贵金属订购交易...
近期，多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损，甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局，...
“易掘金”的APP它打着“高收益、灵活投资”的旗号，宣称通过“商品订购”就能轻松赚钱，吸引了不少...
在大吉订购APP订购交易亏损被...
近期，不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...
许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道，殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...
白银、贵金属或其他商品类投资，除国家批准的正规期货交易场所及持牌期货公司外，市面上大量第三方交易...
铂银掘金APP无资质的违规平台...
铂银掘金等平台的投资者，往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引，进而下载...
八方淘金APP订购交易不合规，...
“八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名，实际采用高杠...
在指尖订购APP订购商品亏损被...
指尖订购APP这类平台，表面是“订购交易”，实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...
市面上打着“现货投资”“贵金属交易”旗号的APP并不少，但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...
易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号，实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...
大浪淘金APP最隐蔽的套路，在于其完全封闭的内盘交易系统。表面上，它宣称与国际贵金属市场接轨；实...
一品好购APP上订购白银出现亏...
一品好购APP原名“一品订购”，运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...
九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告，用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...
当前，市面上大量所谓的“现货商城订购”交易软件，早已偏离了正常的实物商品买卖，演变为高杠杆、高手...