信息论（第二章离散信息的度量）-北京尧图网络

概率论基本知识回顾概率论中与信息度量有关的基本概念和知识以备学习和查阅。样本空间与随机事件随机试验随机性是一种物理现象一般通过试验结果来呈现和观察。由于试验结果不可预测此类试验特称为随机试验通常用字母E表示。样本空间已知集合就是一次随机试验可能呈现的所有结果称为样本空间记为Ω。条件概率在事件 A 已经发生的条件下事件 B 发生的概率称为 B 对 A 的条件概率记为 p(B|A)。特别地当事件 A 和事件 B 相互独立时即无论事件 A 是否发生事件 B 发生的概率不变有p(B|A)联合概率事件A和事件B同时发生的概率称为联合概率记为p(AB)且有p(AB)p(A)p(B|A)p(B)p(A|B)p(B|A)p(AB)/p(A)(p(B)p(A|B))/p(A)完全事件组全概率公式贝叶斯公式后验概率贝叶斯公式所计算的概率就是后验概率先验概率先验概率是指某一事件 B 本身所具有的随机性程度是不依赖其他事件而得到的一个统计量后验概率正好相反需要根据其他事件的发生情况来推测事件 B 的分布是一个条件概率。离散随机变量离散随机变量取值为有限个或者无限但可数这样的随机变量称为离散随机变量。离散随机变量的统计特性离散随机变量 X 的概率分布 p(x) 描述了随机变量取某一具体值时的随机性但在实际应用中更关心的是群体的平均分布情况。对于离散随机变量而言常用的统计特性有数学期望及其函数的数学期望。数学期望离散随机变量 X 的数学期望就是 X 可能取值的加权平均其加权权重就是对应的概率。加权平均增大集中影响信息随机变量的数学期望X 是离散随机变量Y 的取值与 X 有关因此 Y 也是离散随机变量其数学期望 E[Y] 与离散随机变量 X 有关。信息度量方法的引入(1) 越不可能的消息包含的信息量越多。(2) 确定无疑的消息包含的信息量为零。(3) 消息发生的概率越大信息量越少反之亦然。(1) 信息量是随机事件概率的严格递减函数。即发生概率越小事件发生的不确定性越大则所包含的信息量越多。(2) 极限情况下若随机事件发生的概率为1则事件所包含的信息量为0若随机事件发生的概率为0时则事件所包含的信息量为无穷大。(3) 若两个不同的随机事件相互独立则这两个事件所包含的信息量应该是单个随机变量所包含信息量的和即信息量应该满足可加性。自信息量和信息熵1.自信息量的定义2.自信息的单位与换算a2单位定义为比特(bit)工程上常用此单位。a3单位定义为tit不常用。ae单位定义为奈特(nat)理论推导时常用注\mathrm{e}为自然常数。a10单位定义为笛特det或者哈特hart不常用。3.自信息量含义(1)发生前事件的不确定性。必然发生的事件自信息量为零没有不确定性。自信息量越小发生概率越大预测事件越发困难事件的不确定性越大反之亦然。(2)发生后事件提供的信息量。就通信系统而言自信息量是信源通过随机事件消息要传递给信宿的信息量。必然发生的消息信宿无须信源传递而自知此类消息所提供的信息量为零发生概率越小信宿越感意外所传递的信息量越多反之亦然。(3)信息论中的自信息量概念与日常生活中的信息概念有较大差别。信息论中的自信息量概念实际是信息表示、传输和恢复时对消息不确定性的要求与消息或者随机事件本身的含义或内容无关而日常生活中的信息概念则是消息所要表达的内容或含义。(4)自信息量只与随机性有关。随机性相同的两则消息自信息量相同而与其含义无关。

信息论（第二章离散信息的度量）

相关推荐

WorkBuddy Skill机制深度拆解：从存放加载到更新维护

AgentScope实战：多智能体协作与标准化消息机制全解析

一次讲透全量数据同步：源库怎么读、中间怎么传、目标怎么写

更多资讯

llama.cpp 2-bit 量化深度解析：Q2_K 与 IQ2 系列原理及选型指南

JDspider实战：京东商品爬虫登录管理、反爬规避与字段解析

MIMO 4x4 QPSK Matlab仿真：从系统模型到BER曲线详解

MATLAB下的Occam2DMT大地电磁二维反演：原理、流程与工程实践

Flink 1.12.2 集成 Hudi 0.9.0 实战：流式入湖与 Hive 同步全解析

Flask+Vue校园快递代取系统：从状态机到并发接单实战

今日更新

智能硬件视频会议集成：从芯片选型到场景落地的全栈实践

FFmpeg音视频处理与5路RTMP推流实战：从原理到118克盒子部署

RK3528+1GB内存如何变身直播节点？硬编解码与六协议实战复盘

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？