香农定理为什么重要,香农定理有什么好处

香农定理是信息论的主要内容。香农定理实际上是多个定理构成,国内似乎比较常用“香农三定理”的提法,而在国外资料很少这么提.

信息论和香农定理

信息论研究信息的量化,存储和传播。最初由克劳德·香农于1948年提出,他在具有里程碑意义的题为《通讯的数学原理》的论文中阐述了信号处理和通信操作(如数据压缩)的基本限制。信息论的基本的应用主题包括无损数据压缩(例如ZIP文件),有损数据压缩(例如MP3和JPEG)和信道编码(例如用于DSL)。[头条·小宇堂-未经许可严禁转载]

信息论的一个关键量是“熵”。熵是不确定性的定量描述。例如,掷骰子的可能性。信息论中还讨论的其他一些重要的量包括:互信息、信道容量、误差指数和相对熵等等。

香农定理为什么重要,香农定理有什么好处图1

上图:克劳德·艾尔伍德·香农-1916.4.30-2001.2.24,享年84岁。美国。专业领域:电子工程学和数学。

香农定理涉及这三个部分:

  • 信道编码——主要涉及噪音下模拟信道的信道容量的定理,即香农-哈特利定理(香农-哈特利定理只描述涉及高斯噪音的模拟信道,但还有二进制信道模式的模式的对应定理这里略述)

  • 信源编码——包含涉及无损编码和有损编码的两个定理;

  • 信源采样——奈奎斯特-香农采样定理

但国内资料常说的“香农三定理”是指前两个部分所涉及的的三个定理,下面主要详述这三个定理:

有噪音的模拟信道编码定理(国外资料一般称“香农-哈特利定理”)

注意:这个定理在国外资料中才通常被简称为“香农定理”

这个定理通俗地说,就是首先表明了如果传输信息的信道存在噪音,但是也可以实现信息的传递,然后可以根据带宽等参数计算出信息传递的最大的有效速率。

这可以通俗地类比我们熟悉的语音通话,虽然在电话里面有很多电流噪音或者环境噪音,但是我们仍然可以听懂对方讲的话。因为我们用语音和语言对信息进行了双重的编码,

“语音”这种编码可以在大量噪音干扰的情况下仍然能够工作,那是因为我们的声音通常有一个带宽,但噪音往往只是某一个频率的声音,不一定能够覆盖我们嗓音的全频段。因此即便低音或高音被噪音干扰,我们仍然能听到对方在说什么。而另一方面,如果对方听不清楚,我们还可以提高嗓门来提升我们说话的“信噪比”,从而保证对方能够听清楚我们所说的话。

香农定理为什么重要,香农定理有什么好处图2

上图:有噪信道编码定理的计算公式,可以用打电话的例子来解释一下。嗓音越高,噪音越低,嗓音越浑厚(而不是尖利,尖利的嗓音所用的频段要少一点),就越容易被听清楚。[头条·小宇堂-未经许可严禁转载]

可变长无失真信源编码定理(无损编码)

通俗地说就是我们今天用到的各种无损编码算法——我们现在用的ZIP,RAR压缩,以及APE,FLAC等编码算法都属于无损压缩,采用这些算法可以在不损失原有信息的情况下减少存储这些信息的数据量。

这个原理通俗点说就像是对一叠纸牌:

  • 如果是有序排列的(熵较低),例如A、2、3、4、5、6、7、8、9、J、Q、K,那么就可以用一个很很短的符号,例如“A-K”来记录这个序列所代表的信息(这也说明这个序列所含有的信息很少);

  • 但如果这叠纸牌是乱序排列的(熵较高),那么就需要更多的符号来记录才能确保序列所传达的信息不丢失。

如果用前面语音通话的例子来说明的话,就是某人口吃说了很多重复话,诸如:“我我我我对你很很很景景景仰……”,可以无损地编码为“我对你很景仰……”,这就是无损压缩,但完全不损失需要表达的信息(其实也丢失了口吃重复数量的信息,严格地说应该编码成“我4对你很3景3仰……”)。

有损信源编码定理,又称传输率-扭曲定律

该定理通俗的解释可以沿用前面语音通话的例子,我们用“语音”的编码方式规避了信道噪音,此外我们还可以用“语言”编码的方式“长话短说”来让对方大概了解我要表达的意思。

例如:“我对你的景仰,犹如长江之水滔滔不绝,如黄河泛滥一发”这句话,可以压缩成“我好敬仰你”这五个字,如果打电话这么说就省时间和电话费了(例如国际或者星际长途)。但是这个压缩的过程是丢失了信息的,诸如那种“滔滔不绝”和“泛滥一发”的情态和赶脚就没有了。

所以有损压缩是在设定的一个信息丢失率标准之下来寻找一个满足此要求的算法,香农告诉你你一定找得到,就这么个意思。

所以,如果你对刚才那句表达景仰的话的“保真率”要求提高一点,可以这么编码:“我对你的景仰犹如长江黄河之水泛滥不绝”。[头条·小宇堂-未经许可严禁转载]

当然要保真,“成本”就高了,就得多花点时间说和更多的电话费。

香农定理为什么重要,香农定理有什么好处图3

上图:无损(上)和有损(下)压缩的差异比较。有损压缩可以有更大的压缩率,但是还原之后损失了信息量。

 

总结

我们用语音通话的例子来通俗地解说香农定理,请特别注意“语音”和“语言”两种编码方式,分别对应香农定理当中的“信道编码”和“信源编码”两个不同的部分。语音是解决传输过程中噪音问题而做的编码(如果是通过心灵感应就没这个需求了);语言编码则可以是有损或者无损压缩的,甚至是不压缩的(就让他结巴吧)。

香农定理或者说香农的理论对旅行者号深空任务的成功,光盘的发明,手机通讯的可行性,互联网的发展,语言学和人类感知的研究,乃至对黑洞的理解和许多其他领域都有非常深远的影响。

(0)
上一篇 2022年12月23日 下午4:28
下一篇 2022年12月23日 下午4:42

相关推荐

  • 家里有果蝇怎么办(怎么消灭家里的果蝇)

    家里有果蝇也不是什么很恼人的存在,好在他们和苍蝇不同,他们专注于于糖类发酵的环境,次之食物腐败的环境,所以要养成不攒厨余垃圾的习惯,重点是及时处理吃剩的水果,比如放到冰箱冷藏区,特…

    2023年1月3日
    0
  • 公积金贷款看不看负债

    公积金贷款是许多人购房的首选,因为它具有利率低、还款期长、还款方式多样等优点。但是,在申请公积金贷款时,银行会考虑申请人的负债情况,因为负债情况是银行评估申请人还款能力的重要因素。…

    生活百科 2023年10月10日
    0
  • 茶几高度35cm是不是太低了

    随着人们生活水平的提高,茶几作为家居生活中必不可少的家具之一,其高度也逐渐成为人们关注的焦点。目前市面上的茶几高度多在40-50cm之间,而一些低于这个标准的茶几备受争议,其中以高…

    生活百科 2023年6月19日
    0
  • 荣耀magicbook v14 2022款评测

    随着手机市场的不断收紧,我们不难看出,拓宽产品线已经成为了今天各大数码品牌的核心策略之一,尤其是各种跨界的尝试更是不胜枚举。比如我们所熟知的手机厂商,就不断朝着平板电脑、智能穿戴、…

    2023年1月16日
    0
  • 有没有想好好谈一场恋爱的冲动呢

    马拉松式的恋爱谈了好几年! 我因为刚参加铁路工作不久,就被推荐工农兵大学:上海铁道医学院上几年学。 那个年代:两个人不够50岁不让结婚。其实也没有挡住谁不结婚,照样偷偷的都完婚! …

    2023年1月10日
    0
  • adidas为什么有3种logo 代表着什么

    adidas阿迪达斯大家一定不陌生,但是大家可知道 这家品牌有3个最经典的LOGO,你们都清楚它们代表着什么吗? 原来,不同的logo代表着不同系列的服饰与鞋款,打个比方,就像小米…

    2023年2月7日
    0
  • 吃鸡是哪家公司

    电子竞技,是利用电子设备作为运动器械开展的、人与人之间的智力对抗运动。 其集科技、竞技、娱乐、社交于一身,基于游戏又超越游戏,被主流社会接纳后展现了难以估量的潜力。 近年来,中国已…

    2023年6月6日
    0
  • 辅酶q10是饭前吃还是饭后吃

    本文目录 1.饭前吃辅酶q10 2.饭后吃辅酶q10 3.结论 辅酶q10是一种常见的保健品,被广泛应用于心血管疾病、肌肉疾病、神经系统疾病等的治疗和预防。但是,很多人都不确定辅酶…

    生活百科 2023年6月15日
    0
  • 体温计打碎了会中毒吗

    体温计是我们生活中常见的一种测量体温的工具。但是,如果不小心把体温计打碎了,可能会让人产生担忧:会不会因此中毒呢? 首先,我们需要了解一下体温计的原理。一般来说,体温计内部的物质是…

    生活百科 2023年6月22日
    0
  • 电脑双系统如何切换

    相信有不少的朋友们都把自己的心爱的电脑装上了双系统,但是当我们安装上了双系统之后,有一些软件的兼容性问题,我们不得不采取分别安装。但是我们在安装完相应的软件之后,就涉及到需要切换操…

    2023年2月21日
    0

发表评论

登录后才能评论