尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
【信息论】自信息信息熵|事情越离谱,信息量越大?
前言第二章很多同学第一个翻车点公式不长看着简单但是经常分不清自信息和熵。网上很多笔记只会说“惊喜值”咱们换个更好玩的说法意外分。一件事越出乎意料它的意外分就越高。结合理论小故事人话讲清楚看完不用死硬背。相关小故事早在香农出手之前哈特莱1928年就想到了一堆等概率符号信息量和符号数量取对数挂钩。但是这个方案有短板现实里绝大多数事件概率不一样有的稀罕、有的天天发生哈特莱这套没法处理。香农保留对数的形式又从热力学借来“熵”这个名字。热力学熵描述微观粒子乱不乱信息熵用来描述一件事到底有多难预判。⚠️考试坑提醒两个熵长得像但根本不是一回事简答写错直接扣分前置小提醒这一章全靠概率论打底贝叶斯公式一定要熟后面条件熵、互信息全要用到别等到后面再回头补。二、自信息量 I(x_i)I(x_i)-\log_2 p(x_i)单位bit理解自信息 这件事发生带给你的意外分概率极小的冷门事件突然发生意外感爆炸自信息很大百分之百会发生的事毫无意外自信息0。几条简单性质1. 概率越小意外分越高​2. p1I0概率无限趋近0信息量直接冲向无穷​3. 信息量不会是负数一件事不可能“负意外”。重点自信息只针对单独一件事、单个符号这件事发生了才有这个值是随机的。三、信息熵 H(X)熵就是这个信源所有符号意外分的平均值也就是平均意外度。H(X)-\sum_{i} p(x_i)\log_2 p(x_i)拿二元信源举例只有0和1P(1)pP(0)1-p二元熵H(p)-p\log_2 p-(1-p)\log_2(1-p)p0.50和1对半开完全猜不到下一个是啥平均意外拉满H1\ \text{bit}​p0或者p1永远只输出同一个符号毫无悬念熵0本章学习思路1. 刷题循序渐进先算单个事件自信息 → 再算整个信源熵 → 吃透二元熵曲线​2. 自己动手画一遍二元熵曲线最高点在0.5这个考点选择填空反复考​3. 做一张对比小卡片​自信息单次事件随机单次意外​熵整个信源平均值整体好不好猜❌高频误区避雷别搞错熵很大 ≠ 你收获了很多信息✅真相熵大只是代表这件事本来很难猜只有消息到来之后被抹平的那一部分不确定才是你拿到的信息。趣味小知识对数底数可以换着玩底数2 → bit适配二进制底数10叫哈特莱自然常数e叫奈特。香农选2不是随便挑的是专门适配当时正在崛起的二进制数字电路于是bit一路火到现在。小结自信息量单条事件衡量有多出人意料​信息熵整体平均衡量整个信源好不好预判。思维导图文本脑洞思考题均匀六面骰子和一个被动过手脚、更容易投出6的骰子哪个熵更高下期预告联合熵、条件熵、互信息搞懂两个信号之间偷偷共享了多少线索。
RELATED

相关推荐

推荐几本权威的钱币评级的学习书籍

推荐几本权威的钱币评级的学习书籍

苏州钱币收藏市场近年活跃度持续提升,尤其是机制币、老银元的收藏与投资需求逐年增长,但本地收藏者普遍面临“入门无系统资料、进阶缺专业指引”的痛点。不少爱好者因碎片化信息误导,常在真伪鉴别、品相评定上走弯路,因此选对权威…

📅 2026/10/18 6:32:19
UDS协议栈源码解析:ISO-TP、会话管理与安全访问实战

UDS协议栈源码解析:ISO-TP、会话管理与安全访问实战

简介:面向需要集成车载诊断功能的嵌入式开发人员,UDSDemo 内含一套完整的 UDS(ISO 14229-1)协议栈源码。压缩包仅 521KB,共 75 个文件,以 C 源码为主(18 个 .c、17 个 .h)&#xff0…

📅 2026/10/18 6:32:19
React Native for OpenHarmony 实战:三方库 react-native-simple-radio-button 的鸿蒙化适配指南

React Native for OpenHarmony 实战:三方库 react-native-simple-radio-button 的鸿蒙化适配指南

本文记录把 react-native-simple-radio-button(简单单选按钮组)适配到 HarmonyOS 的完整过程。 它做的事很直接:一组单选按钮(一个圆点 一行文字标签),点哪一项哪一项被选中,并把选中结果回调出…

📅 2026/10/18 6:32:19
MORE NEWS

更多资讯

📰

为业务微调Rerank:从零构建领域专属多语言重排模型完整教程

【免费下载链接】Rerank 项目地址: https://ai.gitcode.com/netease-youdao/Rerank 点击查看 免费下载 Rerank 是一个基于 XLM-RoBERTa 的多语言重排(Reranking)模型,能够输出查询(query)与文档的相关性得…

📰

饰面肌理:空间质感表达,从板材表面开始

室内设计中,材料肌理是很容易被家装爱好者忽略的维度。我们常常讨论配色、布局,却很少关注板材表面的触感与光影,而肌理饰面,恰好补齐了这一环。 传统平面饰面板,视觉效果单一,在灯光下容易显得扁平。肌理板…

📰

JS逆向全流程实战:从浏览器断点调试到加密参数还原

懂行的朋友都知道,网上关于JS逆向的教程要么太零散、只讲某个点,要么门槛太高、上来就甩一堆混淆代码让人劝退。今天这篇不整虚的,就从一个纯粹的实操视角,把从打开浏览器到抠出加密参数的全流程拆开揉碎讲清楚。标题里提到的“断…

📰

DataList在电商商品列表中的不可替代性与实战优化

1. 为什么还在用DataList?一个被低估的ASP.NET经典控件 很多人看到“DataList”第一反应是:“这玩意儿不是2005年就该淘汰了吗?”——我第一次在某电商后台维护项目里见到它时,也下意识皱了眉头。但当我花半天时间把整个商品列表…

📰

从口号到系统:拆解“好好学习 天天向上”背后的高效学习底层逻辑

“好好学习 天天向上”这句话,可能是我们从小到大听得最多、也最容易被忽略的一句口号。很多人把它当成墙上的标语、作文里的套话,但真正把它拆开来看,你会发现这八个字几乎涵盖了学习这件事的全部秘密:一个是输入端的质量&#x…

📰

继续教育 SaaS 的模块化架构:多模块如何共用一套学员与财务数据

一、问题:为什么多系统拼装在继教场景里总是漏数继续教育机构的系统需求有个特点:业务链条长、环节之间强耦合。一条典型的链条是:线索获取 → 招生跟进 → 报名签约 → 缴费分期 → 排课教务 → 教学交付 → 财务结算 → 毕业学籍八个环节里…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬