信息熵与信息增益 Python 3.11 实战：从公式到代码的 5 步推导与实现-北京尧图网络

信息熵与信息增益 Python 3.11 实战从公式到代码的 5 步推导与实现在机器学习领域理解信息熵和信息增益的概念对于构建高效的决策树模型至关重要。本文将带你从数学公式出发通过五个清晰的步骤最终实现一个完整的Python函数来计算信息增益。我们将使用Python 3.11的最新特性并结合scikit-learn的鸢尾花数据集进行实战演示。1. 理解信息论基础概念在开始编码之前我们需要先理解几个核心概念信息量衡量一个事件发生所带来的惊喜程度。一个事件发生的概率越小其信息量越大。数学表达式为I(x) -log₂P(x)信息熵衡量一个随机变量的不确定性。对于一个离散随机变量X其熵定义为H(X) -Σ P(x)log₂P(x)举个简单例子假设有一个硬币正反面出现的概率都是0.5那么它的熵是H -0.5*log₂0.5 - 0.5*log₂0.5 1 bit但如果硬币被做了手脚正面概率0.9反面0.1那么熵会降低H -0.9*log₂0.9 - 0.1*log₂0.1 ≈ 0.469 bit信息增益表示在知道某个特征后目标变量的不确定性减少的程度。计算公式为IG(Y,X) H(Y) - H(Y|X)2. 构建信息熵计算函数让我们从最基础的信息熵计算开始。我们将创建一个get_entropy函数它接收一个概率列表并返回熵值。import numpy as np import math def get_entropy(probabilities): 计算给定概率分布的信息熵参数: probabilities -- 概率列表总和应为1 返回: 熵值(以bit为单位) entropy 0.0 for p in probabilities: if p 0: # 避免log(0)的情况 entropy - p * math.log2(p) return entropy测试这个函数# 公平硬币的熵 print(get_entropy([0.5, 0.5])) # 输出: 1.0 # 有偏硬币的熵 print(get_entropy([0.9, 0.1])) # 输出: ≈0.4693. 实现条件熵计算条件熵H(Y|X)表示在已知随机变量X的条件下Y的不确定性。我们需要先计算在不同X取值下Y的熵然后取加权平均。def get_conditional_entropy(feature, target): 计算给定特征条件下的目标变量的条件熵参数: feature -- 特征列数据(一维数组) target -- 目标变量列数据(一维数组) 返回: 条件熵值 # 获取特征的所有唯一值及其出现频率 unique_values, counts np.unique(feature, return_countsTrue) total_samples len(feature) conditional_entropy 0.0 for value, count in zip(unique_values, counts): # 获取当前特征值对应的目标值 target_subset target[feature value] # 计算目标子集的概率分布 target_probs np.bincount(target_subset) / len(target_subset) # 计算子集熵并加权累加 subset_entropy get_entropy(target_probs) conditional_entropy (count / total_samples) * subset_entropy return conditional_entropy4. 计算信息增益有了熵和条件熵的计算方法信息增益就很容易计算了def calculate_information_gain(feature, target): 计算特征对目标变量的信息增益参数: feature -- 特征列数据(一维数组) target -- 目标变量列数据(一维数组) 返回: 信息增益值 # 计算目标变量的熵 target_probs np.bincount(target) / len(target) entropy_target get_entropy(target_probs) # 计算条件熵 conditional_entropy get_conditional_entropy(feature, target) # 信息增益熵 - 条件熵 return entropy_target - conditional_entropy5. 实战应用鸢尾花数据集特征选择现在让我们将这些函数应用于真实的机器学习数据集——鸢尾花数据集看看哪些特征对分类最有帮助。from sklearn.datasets import load_iris import pandas as pd # 加载数据集 iris load_iris() data pd.DataFrame(iris.data, columnsiris.feature_names) target iris.target # 计算每个特征的信息增益 for feature in data.columns: ig calculate_information_gain(data[feature], target) print(f特征 {feature} 的信息增益: {ig:.4f})典型输出结果特征 sepal length (cm) 的信息增益: 0.4836 特征 sepal width (cm) 的信息增益: 0.0397 特征 petal length (cm) 的信息增益: 1.4183 特征 petal width (cm) 的信息增益: 1.3787从结果可以看出花瓣长度和花瓣宽度的信息增益最高这意味着它们对分类鸢尾花最有帮助。6. 可视化熵与概率的关系为了更直观地理解熵的概念我们可以绘制熵随概率变化的曲线import matplotlib.pyplot as plt # 生成概率值从0.01到0.99的序列 probs np.linspace(0.01, 0.99, 100) # 计算二分类情况下的熵 entropies [-p*np.log2(p) - (1-p)*np.log2(1-p) for p in probs] plt.figure(figsize(8, 6)) plt.plot(probs, entropies) plt.title(二分类熵函数曲线) plt.xlabel(正类概率) plt.ylabel(熵 (bits)) plt.grid(True) plt.show()这张图会显示当概率为0.5时熵达到最大值1 bit而当概率接近0或1时熵趋近于0这与我们的直觉一致——当结果几乎确定时不确定性最低。7. 代码优化与Python 3.11特性应用Python 3.11引入了一些性能改进和新特性我们可以利用它们来优化我们的代码def get_entropy_optimized(probabilities): 使用Python 3.11的异常处理改进和更快的数学运算 return -sum(p * math.log2(p) for p in probabilities if p 0) def calculate_information_gain_vectorized(feature, target): 使用numpy向量化运算提高性能 # 计算目标熵 target_counts np.bincount(target) target_probs target_counts / target_counts.sum() entropy_target get_entropy_optimized(target_probs) # 计算条件熵 unique_values, value_counts np.unique(feature, return_countsTrue) conditional_entropy 0.0 for value, count in zip(unique_values, value_counts): mask (feature value) target_subset target[mask] subset_counts np.bincount(target_subset, minlengthlen(target_counts)) subset_probs subset_counts / subset_counts.sum() conditional_entropy (count / len(feature)) * get_entropy_optimized(subset_probs) return entropy_target - conditional_entropy这些优化在处理大型数据集时会显著提高性能。Python 3.11的异常处理改进使得数学运算更快而numpy的向量化操作减少了循环开销。8. 实际应用中的注意事项在实际应用中计算信息增益时需要注意以下几点连续特征处理我们的实现假设特征是离散的。对于连续特征需要先进行离散化处理如等宽分箱或等频分箱。缺失值处理现实数据中常有缺失值需要决定是忽略这些样本还是采用某种填充策略。过拟合问题倾向于选择取值较多的特征因为这类特征往往能产生更大的信息增益。可以考虑使用信息增益比来校正这种偏差。计算效率对于大型数据集纯Python实现可能较慢可以考虑使用scikit-learn的优化实现或并行计算。下面是一个处理连续特征的示例def calculate_ig_for_continuous(feature, target, bins5): 将连续特征离散化后计算信息增益 # 使用分位数分箱保持每箱样本数大致相同 discretized pd.qcut(feature, bins, labelsFalse, duplicatesdrop) return calculate_information_gain(discretized, target)9. 与scikit-learn决策树的对比为了验证我们的实现是否正确我们可以将其与scikit-learn中的决策树实现进行对比from sklearn.tree import DecisionTreeClassifier from sklearn.tree import export_text # 使用scikit-learn的决策树(使用信息增益作为标准) tree DecisionTreeClassifier(criterionentropy, max_depth1) tree.fit(data, target) # 打印树结构 tree_rules export_text(tree, feature_nameslist(data.columns)) print(Scikit-learn决策树选择的第一个分裂特征:) print(tree_rules) # 找出我们计算中信息增益最大的特征 ig_values {col: calculate_information_gain(data[col], target) for col in data.columns} best_feature max(ig_values, keyig_values.get) print(f\n我们的实现计算的信息增益最大的特征: {best_feature})在鸢尾花数据集上两者通常会选择相同的特征花瓣长度或花瓣宽度作为最重要的分裂特征这验证了我们实现的正确性。10. 扩展应用特征选择框架基于信息增益的特征选择可以整合到一个完整的特征选择框架中def select_features_by_ig(X, y, kNone, thresholdNone): 基于信息增益选择top k个特征或超过阈值的特征参数: X -- 特征DataFrame y -- 目标变量 k -- 要选择的特征数量 threshold -- 信息增益阈值返回: 选中的特征列表 ig_scores {} for col in X.columns: ig_scores[col] calculate_information_gain(X[col], y) # 按信息增益排序 sorted_features sorted(ig_scores.items(), keylambda x: x[1], reverseTrue) selected [] if k is not None: selected [feat for feat, score in sorted_features[:k]] elif threshold is not None: selected [feat for feat, score in sorted_features if score threshold] else: selected [feat for feat, score in sorted_features] return selected这个框架可以灵活地用于各种机器学习项目中的特征选择阶段。

信息熵与信息增益 Python 3.11 实战：从公式到代码的 5 步推导与实现

相关推荐

C#学习1 HelloWord之后你要明白（Console类详细版）

4款真正好用的自动关机工具，免费无广，简直防沉迷神器

PyTorch Dataset与DataLoader配置优化：4个关键参数对训练速度的影响实测

更多资讯

Onyx Craft V1：把“AI 同事”做成可审计、可审批、可调度企业级 Agent 的技术路线图

大模型训练网络为什么绕不开RoCEv2？从原理到调优全解析

电商、金融、政务行业怎么选？2026年三大主流在线客服系统场景化选型指南

Crayfish容器运行时：为桌面智能体重新定义安全隔离与交互能力

Codex双轨配额机制解析：5小时滑动窗口与每周固定额度

OpenMontage 照片数字人实战：基于 HeyGen Photo Avatar API 从静态照片生成会说话的视频

今日更新

CopilotKit Vue Demo 与 React Demo 的 Parity 实现指南：路由、运行时端点与交互语义的全框架对齐

Harbor RBAC 实战：db_auth 模式下非管理员用户管理项目成员的完整验证与权限模型解析

STM32平衡车纯平衡程序从拆包到参数整定的完整调试指南

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？