信息论基础：概率论与信息熵-北京尧图网络

2.1 概率论基本知识2.1.1 样本空间与随机事件1. 随机试验结果具有随机性试验结果不可预先预测的试验记作E。2. 样本空间Ω随机试验所有可能结果构成的集合集合内每一个基本结果称为样本点ω。例抛一枚硬币样本空间Ω{H,T}H表示正面T表示反面。3. 随机事件样本空间Ω的任意子集E⊂Ω简称事件。事件是若干样本点的集合事件发生等价于集合内某个样本点出现。2.1.2 概率、条件概率、联合概率1. 概率的公理化定义对于样本空间Ω上事件E概率P[E]满足三条公理(1) 非负性0≤P[E]≤1(2) 归一性P[Ω]1(3) 可列可加性两两互斥事件序列E₁,E₂⋯P[⋃ₙ₌₁^∞ Eₙ]∑ₙ₌₁^∞ P[Eₙ]2. 条件概率在事件A已经发生的前提下事件B发生的概率记作p(B|A)。公式p(B|A)p(AB)/p(A)若A、B相互独立p(B|A)p(B)A发生与否不改变B发生的概率。3. 联合概率事件A、B同时发生的概率记作p(AB)。p(AB)p(A)p(B|A)p(B)p(A|B)2.1.3 完备事件组、全概率公式、贝叶斯公式1. 完备事件组a₁,a₂,…,a_N为样本空间Ω的一组事件满足① 任意两个事件互斥aᵢ∩aⱼ∅,i≠j② 全部事件合并等于全集⋃ₙ₌₁^N aₙΩ。则{aₙ}称为完备事件组是对样本空间的一个划分。2. 全概率公式完备事件组{aᵢ}事件B发生的总概率等于各个原因下B发生概率之和。p(B)∑ᵢ₌₁^N p(aᵢ)p(B|aᵢ)含义寻找事件B发生的全部来源叠加所有来源对应的发生概率。3. 贝叶斯公式已知事件B已经发生反推是由原因aᵢ引发的概率用于由果溯因。p(aᵢ|B)p(aᵢ)p(B|aᵢ)/∑ₙ₌₁^N p(aₙ)p(B|aₙ)2.1.4 先验概率与后验概率- 先验概率不依靠其他条件根据统计得到的事件本身固有的概率是事件发生前的统计量。- 后验概率事件B发生之后反过来推断触发B的原因a_i的条件概率也就是贝叶斯公式的计算结果。通信中收到接收符号之后反推发送符号的概率就是后验概率。2.1.5 离散随机变量1. 随机变量定义随机试验样本空间Ω对每一个样本点ω∈Ω都有唯一实数X与之对应X(ω)称为随机变量。本质样本点到实数集的映射。2. 离散随机变量取值为有限个或者无限可列个数的随机变量称为离散随机变量。3. 累积分布函数分布函数CDFF(x)P[X≤x]性质(1) F(x)是非减函数(2) limₓ→₊∞ P[X≤x]F(∞)1(3) limₓ→₋∞ P[X≤x]F(−∞)02.1.6 离散随机变量的统计特性数学期望1. 单个离散随机变量的数学期望若X概率分布p(xₙ),n1,2,…,NE[X]∑ₙ₌₁^N xₙ p(xₙ)含义随机变量取值的加权平均权重是对应取值的发生概率。2. 两个离散随机变量的数学期望E[XY]已知X,Y联合分布p(xᵢ yⱼ)E[XY]∑ᵢ₌₁^N ∑ⱼ₌₁^M xᵢ yⱼ p(xᵢ yⱼ)3. 随机变量函数的数学期望Yf(X)则f(X)的期望E[f(X)]∑ᵢ₌₁^N f(xᵢ)p(xᵢ)2.2 信息量度量方法的引入信息量公理1. 越不可能发生的消息包含信息量越大2. 确定必然发生的消息信息量03. 事件发生概率越大信息量越小4. 独立事件总信息量等于各自信息量之和可加性。满足该公理的函数为对数函数以此定义自信息量。2.3 自信息量与信息熵2.3.1 自信息量1. 定义离散随机事件Xxᵢ自信息量I(xᵢ)I(xᵢ)−logₐ p(xᵢ)底数a决定单位- a2单位bit比特工程最常用- ae单位nat奈特理论推导- a10单位Hart哈特2. 自信息量含义(1) 事件发生前代表事件的不确定性概率越小不确定性越强。(2) 事件发生后事件带给接收者的信息量。(3) 信息论的自信息只和概率有关和消息本身语义、含义无关。(4) 必然事件p1I0不可能事件p0信息量趋向无穷。2.3.2 信息熵香农熵1. 概率空间事件集合X 对应概率集合P共同构成概率空间[X; P] [x₁ x₂ … x_N; p(x₁) p(x₂) … p(x_N)]2. 信息熵定义自信息量I(x)是随机变量取数学期望得到信息熵H(X)H(X)E[I(x)]−∑ₙ₌₁^N p(xₙ)log p(xₙ)规定0log00处理零概率项。3. 信息熵含义(1) 平均自信息量集合内随机变量的平均不确定性(2) 熵越大信源不确定性越强能够提供的平均信息量越多(3) 描述整个信源集合的统计特性不是单次事件的信息量。2.4 联合自信息量与联合熵2.4.1 联合自信息量1. 二元联合自信息联合事件xᵢ yⱼ联合概率p(xᵢ yⱼ)I(xᵢ yⱼ)−log p(xᵢ yⱼ)含义xᵢ、yⱼ两个事件同时发生带来的自信息量。2. 多维随机矢量联合自信息N维矢量x(x₁,x₂,…,x_N)I(x)−log p(x)2.4.2 联合熵1. 两个随机变量的联合熵联合自信息量I(xᵢ yⱼ)的数学期望H(X,Y)E[I(xᵢ yⱼ)]−∑ᵢ₌₁^N ∑ⱼ₌₁^M p(xᵢ yⱼ)log p(xᵢ yⱼ)也叫共熵描述二维联合随机变量集合整体平均不确定性。2. 序列熵N个随机变量集合的联合熵N个随机变量X₁X₂⋯X_N构成序列序列熵就是多维联合熵H(X₁X₂⋯X_N)−∑ p(x₁x₂⋯x_N)log p(x₁x₂⋯x_N)单位比特/序列。

信息论基础：概率论与信息熵

相关推荐

Ansible 编排 Docker 容器生命周期实战：docker-flask 三容器 Flask + MySQL 应用部署详解

客观存在与人类意识的局限性| 赵杰 | 量子意识（第二卷）

OpenHarmony-XTS测试

更多资讯

SpringBoot+Vue3+MyBatis美食网站系统开发实战

Spring Cloud Alibaba整合Gateway与Nacos：动态路由、鉴权限流实战与避坑指南

toml4cj 功能 API 全解析：仓颉语言 TOML 读取、解析与序列化实战指南

practical-aspnetcore 实战：在 Blazor SSR 静态组件中通过 [CascadingParameter] 访问 HttpContext

OpenAI Agents SDK 工程笔记：Usage 用量统计、token 预算与成本闸门生产禁区

AI驱动测试用例生成：从需求描述到可执行自动化脚本的完整实践指南

今日更新

小波包能量谱原理与MATLAB实现：从频带分解到故障特征提取

基于LSTM的网易云音乐评论情感分析：数据清洗与模型调优实战

Alpha-Beta剪枝与极大极小值算法：博弈树搜索原理与实战优化

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？