做机器学习有一个特别常见的误区一拿到数据就想马上跑模型。尤其是很多跟着课程计划、实训平台或者期末复习资料走的人第 1 课刚知道什么是特征第 2 课就想直接预测。结果往往是模型能跑但成绩不理想换参数也没用最后回头才发现数据本身就没看懂。这个系列走到第 19 天主题就是“理解你的数据”英文叫 Understanding Your Data属于 100 天机器学习计划里的基础环节也是我建议所有初学者认真停下来的地方。为什么要专门拿一天讲这个因为理解数据不是“打开表格看一眼”它决定了你后面做特征工程、算法选择、模型评估是否靠谱。数据里的缺失值怎么处理、类别特征怎么编码、异常值要不要删、样本分布是不是均衡全都要建立在理解数据的基础上。如果这一步跳过后面所有步骤都是在猜。这篇文章按实际落地顺序拆一遍先讲为什么理解和建模的先后顺序不能颠倒再讲拿到数据后怎么逐层看最后讲数据理解阶段最常见的坑和怎么沉淀成一份可用报告。不管是跟着网课学还是在头歌、Edx 这类平台刷题或者自己在本地跑公开数据集这套流程都能直接用。1. 为什么很多项目不是死在模型上而是死在没有理解数据1.1 建模之前看不看数据结果差距比想象中大先说结论数据理解不是走流程它直接决定项目能不能往下走。我在实际项目里见过很多次类似情况。两个人用同一个数据集一个人花两小时做数据理解另一个人直接跑随机森林。最终结果往往不是模型差距而是特征构造差距。理解数据的人知道哪个字段是重复冗余的哪个字段缺了大半哪个字段看似数值型其实是分类编码。没理解数据的人把这些全部丢进模型结果精度差、训练慢、可解释性也差。机器学习算法的输入本质上是“数据的表达方式”。你给模型什么模型就只能从什么里面学。如果输入里有一列全是缺失值或者有一列把“男”“女”直接编码成 1、2而模型不知道这是类别它就会把编码当成大小关系去学习。这些问题的根源都是没有先理解数据。所以 100 天计划里把“理解数据”放在特征工程和建模前面是有道理的。这阶段不是浪费时间而是帮你把后续步骤的地基打牢。1.2 数据认知的四个层次结构、质量、分布、关系很多人问理解数据到底要理解到什么程度才算到位我个人会把它拆成四个层次。第一层是结构这个数据集有多少行多少列列名是什么每一列是什么类型。第二层是质量有没有缺失、重复、异常值数据是不是干净的。第三层是分布单看每一列它是均匀分布、正态分布还是严重偏态众数在哪有没有极端值。第四层是关系两列之间有没有相关趋势分组之间有没有显著差异。这四个层次不是并列关系而是递进关系。你先看清结构才能谈质量质量没问题才谈分布分布清楚了再去探索关系。有人一上来就画相关性热力图结果连字段含义都没搞清楚画出来的图根本没有解释力。这里我建议一个非常实用的做法第一次拿到数据先不要碰算法也不要急着写复杂代码。先回答四个问题这份数据是谁记录的每一行代表什么每一列的真实含义是什么我要预测或者分析的目标是哪一列这四个问题想清楚了数据理解才真正开始。2. 拿到数据后先看清结构和类型不要急着跑 describe2.1 第一步永远是检查行列规模和后缀格式一份数据拿到手第一步不是看数值而是看规模。一般来说先用 DataFrame 的 shape 属性看行列数再用 info 方法看字段名和类型。import pandas as pd df pd.read_csv(your_dataset.csv) print(行数, df.shape[0]) print(列数, df.shape[1]) print(df.info())这三行代码能告诉你很多信息。行数决定你后面处理的速度量级列数决定你要花多少精力做探索。如果一份数据有 200 列你必须先取舍而不是复制粘贴 200 个特征全丢给模型。如果只有 300 行你也要清楚这种小样本数据对深度学习非常不友好但对传统机器学习算法仍然有效。我一般会特别留意后缀和编码问题。CSV 文件看起来通用但经常因为编码不一致导致中文乱码。你可能会遇到一个很奇怪的现象读取时没报错可打印出来发现列名是乱码。出现这种情况优先用encodingutf-8或encodinggbk重新读取不要急着改数据。2.2 字段类型是最容易被误判的隐藏问题字段类型这一步比很多人想象的重要。Pandas 会把数据自动推断为 int、float、object、datetime 等类型。但自动推断只能做参考不能全信。常见的坑有两类。第一类是数值列被识别成 object。出现这种情况往往是因为列里有空字符串、逗号分隔符或者“未知”这类文本。模型没法直接处理 object 列必须先清洗。第二类是类别列被识别成数值。比如性别编码成 1 和 2地区编码成 101、102、201 等Pandas 会认为它是整数列。如果直接拿去建模模型会把地区编码当成数学大小关系最后学出一种完全错误的理解。正确做法是打印每一列的唯一值数量也就是 nunique再结合业务含义去判断它到底是连续数值还是离散类别。unique_counts df.nunique().sort_values() print(unique_counts)这个方法成本很低但对数据类型判断很有帮助。唯一值数量特别少的数值列多半是类别编码。唯一值特别多的 object 列比如用户 ID、订单号则往往不能作为特征使用。3. 单变量分析描述统计不能只抄一遍 mean 和 std3.1 描述统计的看点不是数字本身而是数字组合很多人做完数据理解只写一行df.describe()然后贴上平均值、标准差。这样确实省事但等于没有理解。describe()默认会输出 count、mean、std、min、25%、50%、75%、max。这组数字要结合起来看。均值和中位数差距很大说明数据分布偏斜严重。均值比中位数大很多说明存在右偏可能是少量极大值把均值拉高了。标准差如果比均值还要大很多说明数据波动范围非常大。最大值离 75% 分位很远说明存在极端离群值处理时要格外小心。还有一个非常关键的信息是 count。count 小于总行数说明这一列存在缺失值。很多人单独写缺失值检查代码其实describe()里的 count 已经能暴露问题。3.2 分布可视化看直方图和箱线图比看表格更高效统计数字只能给结论不能给感觉。分布形态这种东西必须画图。我习惯先画直方图看单列分布再画箱线图看离群点。直方图的横轴是数值范围纵轴是频数。通过它你能直接看出数据是单峰、双峰、还是严重偏态。双峰分布往往暗示数据里隐藏着两个不同群体比如两个地区、两类用户。这种情况用单一均值描述没有意义后面需要考虑分组分析。箱线图是另一种快速判断离群值的方式。它把数据分成四分位把超过上下边缘的点标出来。注意箱线图上的离群值不一定都要删除。如果它代表真实的业务情况比如高收入用户、超大订单删除反而会让模型失去泛化能力。正确的做法是先标记这些点再结合业务含义判断处理方式。import matplotlib.pyplot as plt import seaborn as sns sns.histplot(df[price], bins50) plt.show() sns.boxplot(xdf[price]) plt.show()针对类别特征我会用柱状图看每个类别的频数。频数差距过大就是类别不均衡分类模型需要额外处理比如使用类别权重或采样策略。如果某个类别只出现了一两次很可能需要合并成“其他”类别。4. 双变量分析相关性和分组差异才是建模的入口4.1 数值变量之间先看相关性矩阵再看散点图细节单变量分析解决的是每一列自身的问题双变量分析解决的是列与列之间的关系。这个阶段做出什么样的判断直接影响你后续选哪些特征。数值列之间最常用的工具是皮尔逊相关系数。它的取值范围是 -1 到 1绝对值越接近 1线性关系越强。正号表示同向变化负号表示反向变化。用.corr()一行代码就能算出来再用 seaborn 的热力图可视化。corr df.corr(numeric_onlyTrue) sns.heatmap(corr, annotTrue, cmapcoolwarm) plt.show()但这里有三个很关键的提醒。第一相关性高不等于因果。两个变量同时上升可能背后有共同原因不能直接说谁导致了谁。第二皮尔逊相关系数只能捕捉线性关系。两个变量之间存在明显的倒 U 形关系相关系数可能非常接近 0但这不代表它们没关系。第三样本量小的时候相关性会被随机波动放大看到很高的相关系数也要谨慎。所以画完热力图我会挑出相关系数绝对值较高的几对继续画散点图。散点图能看出关系形态是线性、对数、还是存在明显的分段。如果只停留在热力图阶段很容易漏掉非线性关系。4.2 类别变量与数值变量分组统计比直接看图更稳数据分析里经常要回答一类问题不同类别在同一指标上有没有显著差异。比如不同地区的销售额、不同性别的消费金额。这类问题我一般用 groupby 分组统计来完成。算一下每个组的均值、中位数、样本量和标准差。看分组均值差异时不要忽略样本量。某个组样本量只有 10均值再高也没有统计意义。df.groupby(region)[sales].agg([count, mean, median, std])然后可以配合箱线图进一步观察分布。注意分组差异的最终验证应该用统计检验比如 t 检验或方差分析数据理解阶段只需要发现可能的差异趋势不需要过早做严格推断。4.3 缺失值关联规律缺失不是随机的要判断缺失机制缺失值分析很容易被当成“统计有多少空值”然后决定填充还是删除。实际上真正值得关注的是缺失值之间有没有关联。一种常见情况是多个特征同时缺失说明这些字段可能来自同一套采集流程整体缺失没有必要逐个填充一起处理更合理。另一种情况是某个特征在特定取值下普遍缺失比如“收入”字段在“无业”样本里大量缺失这不是随机缺失删除反而制造样本偏差。快速检查缺失关联的方法是看各列的缺失比例再用缺失值热力图观察缺失模式。missing_ratio df.isnull().mean().sort_values(ascendingFalse) print(missing_ratio)缺失比例超过 50% 的列默认可以放弃填充直接考虑删除。低于 5% 的列删除缺失行通常影响不大。处在中间范围的列才需要结合业务场景选择均值、中位数、众数或模型填充。5. 数据理解阶段最容易被忽略的四个坑5.1 只看总体分布不看时间顺序或分组结构很多数据集自带时间字段比如交易日期、注册时间。如果不看时间顺序就可能把未来的数据用在训练里造成数据泄露。我遇到过一种标准错误操作把全量数据直接洗牌划分训练集和测试集。如果任务是预测未来某段时间的结果这种随机划分会让模型“偷看”未来信息。正确做法是在数据理解阶段标记出时间字段后续建模时必须用时间顺序划分数据集。时间字段还可能影响样本量变化。早期数据稀疏后期数据密集总体统计指标不能代表真实业务演变。理解数据阶段至少要看一眼时间范围和数据量随时间的分布。5.2 把 ID 列、文本列直接当成特征数据里经常有用户 ID、订单 ID、地址、评论文本这些字段。它们看起来是信息但不适合直接作为数值特征进入模型。ID 列只是唯一标识它的数值大小和业务目标没有数学关系。地址属于高基数类别直接做编码会产生极度稀疏的特征矩阵。文本需要单独做向量化处理。正确的做法是把它们拆出来先放在一边等到特征工程阶段再决定是否要用文本衍生其他特征。这种判断必须在理解数据阶段完成否则建模时很容易手滑把整张表丢进模型。5.3 偏态数据用均值填充、离群值直接删除数据理解阶段最容易留下两个“操作习惯”一个是缺什么补什么一个是看到异常就删。但实际都应该先看分布决定。偏态分布中均值被极端值拉向一侧用均值填充缺失值相当于把大量样本推向同一个位置会降低数据多样性。这个场景下中位数通常更稳。离群值删除也一样离群不等于错误反而可能是信息。只有确认是记录错误且没有修复价值时才考虑删除。判断尺度有两种。一种是看业务合理性比如订单金额字段出现负数或者年龄字段出现 300基本可以判断是错误。另一种是看统计边界超过 3 倍标准差或箱线图上下边缘的点属于需要标记和复查的对象。5.4 不记录探索过程导致别人无法复现你的判断数据理解阶段的结果不只是“我心里有数了”更应该是“我留下了一份可追踪的记录”。很多人自己改完数据后过了两周就忘了哪些列做过填充、删除了多少行、为什么这样做。等到项目复盘或者换人维护时根本没有依据。记录并不复杂每一列记三件事原始类型、发现的问题、当时的处理方式。这样后面特征工程和人复盘时一眼就能看出决策链路。这是专业分析和随手分析的分水岭。6. 把数据理解结果沉淀成一份探路报告6.1 报告核心五个板块我给项目做数据理解最后都会整理一份简洁的探索报告不需要长篇大论但五个板块必须有。第一个板块是数据概况行数、列数、目标列、时间范围。第二个板块是每个字段的类型判断连续数值、离散类别、ID、文本、时间。第三个板块是数据质量清单缺失、重复、异常、不一致的问题都列出来附严重程度和处理状态。第四个板块是分布特征重点字段的偏态、极端值、类别不均衡情况。第五个板块是关系发现显著的相关性、分组差异、潜在的数据泄露风险。有了这份报告后续所有模型实验都围绕它展开。别人拿到你的报告也能快速理解整个项目的数据逻辑。6.2 用一张数据理解清单自检做数据理解时我建议在笔记本或文档里列一张最基础的清单每一项都确认完成后再进入数据预处理。这张清单可以长期复用检查项判断方式通过标准常见风险字段语义查看列名和字段说明文档每个字段都知道真实含义只看列名猜测理解错误类型正确性info 和 nunique 结合数值、类别、时间字段划分正确类别编码被当作数值缺失情况isnull 统计缺失比例知道每列缺失比例和处理策略高缺失列直接填充重复情况duplicated 检查完全重复行明确是否需要去重完全重复直接删除导致样本丢失分布形态直方图、箱线图关注偏态和离群点只看均值忽视偏态相关关系corr 和散点图发现强相关和非线性趋势把高相关当因果时间与泄露检查时间字段和数据生成逻辑确认划分顺序安全随机划分时间序列数据6.3 先跑通最小样例再进入建模阶段最后给一个很实用的建议。数据理解阶段完成之后不要急着上复杂模型。先用少量字段和默认参数跑一个最简单的最小样例比如逻辑回归或决策树。它能验证数据管线是否真的打通。我在实践中发现最小样例的价值不在于精度而在于排除问题。如果简单模型完全跑不出来说明问题大概率出在数据预处理或特征转换上。如果简单模型能跑但精度很低再考虑特征工程和复杂算法这样排查方向会清晰很多。这也符合整个机器学习项目的推进思路一步稳再走下一步。理解数据是第一步这步走得越扎实后面踩坑的概率越低。如果你是初学者或者正处在期末复习、实训平台刷题阶段不要只记着算法原理和公式推导抽一个晚上找一份公开数据集把上面这些步骤完整走一遍你会比只看课件的人更明白机器学习到底在做什么。
做机器学习有一个特别常见的误区一拿到数据就想马上跑模型。尤其是很多跟着课程计划、实训平台或者期末复习资料走的人第 1 课刚知道什么是特征第 2 课就想直接预测。结果往往是模型能跑但成绩不理想换参数也没用最后回头才发现数据本身就没看懂。这个系列走到第 19 天主题就是“理解你的数据”英文叫 Understanding Your Data属于 100 天机器学习计划里的基础环节也是我建议所有初学者认真停下来的地方。为什么要专门拿一天讲这个因为理解数据不是“打开表格看一眼”它决定了你后面做特征工程、算法选择、模型评估是否靠谱。数据里的缺失值怎么处理、类别特征怎么编码、异常值要不要删、样本分布是不是均衡全都要建立在理解数据的基础上。如果这一步跳过后面所有步骤都是在猜。这篇文章按实际落地顺序拆一遍先讲为什么理解和建模的先后顺序不能颠倒再讲拿到数据后怎么逐层看最后讲数据理解阶段最常见的坑和怎么沉淀成一份可用报告。不管是跟着网课学还是在头歌、Edx 这类平台刷题或者自己在本地跑公开数据集这套流程都能直接用。1. 为什么很多项目不是死在模型上而是死在没有理解数据1.1 建模之前看不看数据结果差距比想象中大先说结论数据理解不是走流程它直接决定项目能不能往下走。我在实际项目里见过很多次类似情况。两个人用同一个数据集一个人花两小时做数据理解另一个人直接跑随机森林。最终结果往往不是模型差距而是特征构造差距。理解数据的人知道哪个字段是重复冗余的哪个字段缺了大半哪个字段看似数值型其实是分类编码。没理解数据的人把这些全部丢进模型结果精度差、训练慢、可解释性也差。机器学习算法的输入本质上是“数据的表达方式”。你给模型什么模型就只能从什么里面学。如果输入里有一列全是缺失值或者有一列把“男”“女”直接编码成 1、2而模型不知道这是类别它就会把编码当成大小关系去学习。这些问题的根源都是没有先理解数据。所以 100 天计划里把“理解数据”放在特征工程和建模前面是有道理的。这阶段不是浪费时间而是帮你把后续步骤的地基打牢。1.2 数据认知的四个层次结构、质量、分布、关系很多人问理解数据到底要理解到什么程度才算到位我个人会把它拆成四个层次。第一层是结构这个数据集有多少行多少列列名是什么每一列是什么类型。第二层是质量有没有缺失、重复、异常值数据是不是干净的。第三层是分布单看每一列它是均匀分布、正态分布还是严重偏态众数在哪有没有极端值。第四层是关系两列之间有没有相关趋势分组之间有没有显著差异。这四个层次不是并列关系而是递进关系。你先看清结构才能谈质量质量没问题才谈分布分布清楚了再去探索关系。有人一上来就画相关性热力图结果连字段含义都没搞清楚画出来的图根本没有解释力。这里我建议一个非常实用的做法第一次拿到数据先不要碰算法也不要急着写复杂代码。先回答四个问题这份数据是谁记录的每一行代表什么每一列的真实含义是什么我要预测或者分析的目标是哪一列这四个问题想清楚了数据理解才真正开始。2. 拿到数据后先看清结构和类型不要急着跑 describe2.1 第一步永远是检查行列规模和后缀格式一份数据拿到手第一步不是看数值而是看规模。一般来说先用 DataFrame 的 shape 属性看行列数再用 info 方法看字段名和类型。import pandas as pd df pd.read_csv(your_dataset.csv) print(行数, df.shape[0]) print(列数, df.shape[1]) print(df.info())这三行代码能告诉你很多信息。行数决定你后面处理的速度量级列数决定你要花多少精力做探索。如果一份数据有 200 列你必须先取舍而不是复制粘贴 200 个特征全丢给模型。如果只有 300 行你也要清楚这种小样本数据对深度学习非常不友好但对传统机器学习算法仍然有效。我一般会特别留意后缀和编码问题。CSV 文件看起来通用但经常因为编码不一致导致中文乱码。你可能会遇到一个很奇怪的现象读取时没报错可打印出来发现列名是乱码。出现这种情况优先用encodingutf-8或encodinggbk重新读取不要急着改数据。2.2 字段类型是最容易被误判的隐藏问题字段类型这一步比很多人想象的重要。Pandas 会把数据自动推断为 int、float、object、datetime 等类型。但自动推断只能做参考不能全信。常见的坑有两类。第一类是数值列被识别成 object。出现这种情况往往是因为列里有空字符串、逗号分隔符或者“未知”这类文本。模型没法直接处理 object 列必须先清洗。第二类是类别列被识别成数值。比如性别编码成 1 和 2地区编码成 101、102、201 等Pandas 会认为它是整数列。如果直接拿去建模模型会把地区编码当成数学大小关系最后学出一种完全错误的理解。正确做法是打印每一列的唯一值数量也就是 nunique再结合业务含义去判断它到底是连续数值还是离散类别。unique_counts df.nunique().sort_values() print(unique_counts)这个方法成本很低但对数据类型判断很有帮助。唯一值数量特别少的数值列多半是类别编码。唯一值特别多的 object 列比如用户 ID、订单号则往往不能作为特征使用。3. 单变量分析描述统计不能只抄一遍 mean 和 std3.1 描述统计的看点不是数字本身而是数字组合很多人做完数据理解只写一行df.describe()然后贴上平均值、标准差。这样确实省事但等于没有理解。describe()默认会输出 count、mean、std、min、25%、50%、75%、max。这组数字要结合起来看。均值和中位数差距很大说明数据分布偏斜严重。均值比中位数大很多说明存在右偏可能是少量极大值把均值拉高了。标准差如果比均值还要大很多说明数据波动范围非常大。最大值离 75% 分位很远说明存在极端离群值处理时要格外小心。还有一个非常关键的信息是 count。count 小于总行数说明这一列存在缺失值。很多人单独写缺失值检查代码其实describe()里的 count 已经能暴露问题。3.2 分布可视化看直方图和箱线图比看表格更高效统计数字只能给结论不能给感觉。分布形态这种东西必须画图。我习惯先画直方图看单列分布再画箱线图看离群点。直方图的横轴是数值范围纵轴是频数。通过它你能直接看出数据是单峰、双峰、还是严重偏态。双峰分布往往暗示数据里隐藏着两个不同群体比如两个地区、两类用户。这种情况用单一均值描述没有意义后面需要考虑分组分析。箱线图是另一种快速判断离群值的方式。它把数据分成四分位把超过上下边缘的点标出来。注意箱线图上的离群值不一定都要删除。如果它代表真实的业务情况比如高收入用户、超大订单删除反而会让模型失去泛化能力。正确的做法是先标记这些点再结合业务含义判断处理方式。import matplotlib.pyplot as plt import seaborn as sns sns.histplot(df[price], bins50) plt.show() sns.boxplot(xdf[price]) plt.show()针对类别特征我会用柱状图看每个类别的频数。频数差距过大就是类别不均衡分类模型需要额外处理比如使用类别权重或采样策略。如果某个类别只出现了一两次很可能需要合并成“其他”类别。4. 双变量分析相关性和分组差异才是建模的入口4.1 数值变量之间先看相关性矩阵再看散点图细节单变量分析解决的是每一列自身的问题双变量分析解决的是列与列之间的关系。这个阶段做出什么样的判断直接影响你后续选哪些特征。数值列之间最常用的工具是皮尔逊相关系数。它的取值范围是 -1 到 1绝对值越接近 1线性关系越强。正号表示同向变化负号表示反向变化。用.corr()一行代码就能算出来再用 seaborn 的热力图可视化。corr df.corr(numeric_onlyTrue) sns.heatmap(corr, annotTrue, cmapcoolwarm) plt.show()但这里有三个很关键的提醒。第一相关性高不等于因果。两个变量同时上升可能背后有共同原因不能直接说谁导致了谁。第二皮尔逊相关系数只能捕捉线性关系。两个变量之间存在明显的倒 U 形关系相关系数可能非常接近 0但这不代表它们没关系。第三样本量小的时候相关性会被随机波动放大看到很高的相关系数也要谨慎。所以画完热力图我会挑出相关系数绝对值较高的几对继续画散点图。散点图能看出关系形态是线性、对数、还是存在明显的分段。如果只停留在热力图阶段很容易漏掉非线性关系。4.2 类别变量与数值变量分组统计比直接看图更稳数据分析里经常要回答一类问题不同类别在同一指标上有没有显著差异。比如不同地区的销售额、不同性别的消费金额。这类问题我一般用 groupby 分组统计来完成。算一下每个组的均值、中位数、样本量和标准差。看分组均值差异时不要忽略样本量。某个组样本量只有 10均值再高也没有统计意义。df.groupby(region)[sales].agg([count, mean, median, std])然后可以配合箱线图进一步观察分布。注意分组差异的最终验证应该用统计检验比如 t 检验或方差分析数据理解阶段只需要发现可能的差异趋势不需要过早做严格推断。4.3 缺失值关联规律缺失不是随机的要判断缺失机制缺失值分析很容易被当成“统计有多少空值”然后决定填充还是删除。实际上真正值得关注的是缺失值之间有没有关联。一种常见情况是多个特征同时缺失说明这些字段可能来自同一套采集流程整体缺失没有必要逐个填充一起处理更合理。另一种情况是某个特征在特定取值下普遍缺失比如“收入”字段在“无业”样本里大量缺失这不是随机缺失删除反而制造样本偏差。快速检查缺失关联的方法是看各列的缺失比例再用缺失值热力图观察缺失模式。missing_ratio df.isnull().mean().sort_values(ascendingFalse) print(missing_ratio)缺失比例超过 50% 的列默认可以放弃填充直接考虑删除。低于 5% 的列删除缺失行通常影响不大。处在中间范围的列才需要结合业务场景选择均值、中位数、众数或模型填充。5. 数据理解阶段最容易被忽略的四个坑5.1 只看总体分布不看时间顺序或分组结构很多数据集自带时间字段比如交易日期、注册时间。如果不看时间顺序就可能把未来的数据用在训练里造成数据泄露。我遇到过一种标准错误操作把全量数据直接洗牌划分训练集和测试集。如果任务是预测未来某段时间的结果这种随机划分会让模型“偷看”未来信息。正确做法是在数据理解阶段标记出时间字段后续建模时必须用时间顺序划分数据集。时间字段还可能影响样本量变化。早期数据稀疏后期数据密集总体统计指标不能代表真实业务演变。理解数据阶段至少要看一眼时间范围和数据量随时间的分布。5.2 把 ID 列、文本列直接当成特征数据里经常有用户 ID、订单 ID、地址、评论文本这些字段。它们看起来是信息但不适合直接作为数值特征进入模型。ID 列只是唯一标识它的数值大小和业务目标没有数学关系。地址属于高基数类别直接做编码会产生极度稀疏的特征矩阵。文本需要单独做向量化处理。正确的做法是把它们拆出来先放在一边等到特征工程阶段再决定是否要用文本衍生其他特征。这种判断必须在理解数据阶段完成否则建模时很容易手滑把整张表丢进模型。5.3 偏态数据用均值填充、离群值直接删除数据理解阶段最容易留下两个“操作习惯”一个是缺什么补什么一个是看到异常就删。但实际都应该先看分布决定。偏态分布中均值被极端值拉向一侧用均值填充缺失值相当于把大量样本推向同一个位置会降低数据多样性。这个场景下中位数通常更稳。离群值删除也一样离群不等于错误反而可能是信息。只有确认是记录错误且没有修复价值时才考虑删除。判断尺度有两种。一种是看业务合理性比如订单金额字段出现负数或者年龄字段出现 300基本可以判断是错误。另一种是看统计边界超过 3 倍标准差或箱线图上下边缘的点属于需要标记和复查的对象。5.4 不记录探索过程导致别人无法复现你的判断数据理解阶段的结果不只是“我心里有数了”更应该是“我留下了一份可追踪的记录”。很多人自己改完数据后过了两周就忘了哪些列做过填充、删除了多少行、为什么这样做。等到项目复盘或者换人维护时根本没有依据。记录并不复杂每一列记三件事原始类型、发现的问题、当时的处理方式。这样后面特征工程和人复盘时一眼就能看出决策链路。这是专业分析和随手分析的分水岭。6. 把数据理解结果沉淀成一份探路报告6.1 报告核心五个板块我给项目做数据理解最后都会整理一份简洁的探索报告不需要长篇大论但五个板块必须有。第一个板块是数据概况行数、列数、目标列、时间范围。第二个板块是每个字段的类型判断连续数值、离散类别、ID、文本、时间。第三个板块是数据质量清单缺失、重复、异常、不一致的问题都列出来附严重程度和处理状态。第四个板块是分布特征重点字段的偏态、极端值、类别不均衡情况。第五个板块是关系发现显著的相关性、分组差异、潜在的数据泄露风险。有了这份报告后续所有模型实验都围绕它展开。别人拿到你的报告也能快速理解整个项目的数据逻辑。6.2 用一张数据理解清单自检做数据理解时我建议在笔记本或文档里列一张最基础的清单每一项都确认完成后再进入数据预处理。这张清单可以长期复用检查项判断方式通过标准常见风险字段语义查看列名和字段说明文档每个字段都知道真实含义只看列名猜测理解错误类型正确性info 和 nunique 结合数值、类别、时间字段划分正确类别编码被当作数值缺失情况isnull 统计缺失比例知道每列缺失比例和处理策略高缺失列直接填充重复情况duplicated 检查完全重复行明确是否需要去重完全重复直接删除导致样本丢失分布形态直方图、箱线图关注偏态和离群点只看均值忽视偏态相关关系corr 和散点图发现强相关和非线性趋势把高相关当因果时间与泄露检查时间字段和数据生成逻辑确认划分顺序安全随机划分时间序列数据6.3 先跑通最小样例再进入建模阶段最后给一个很实用的建议。数据理解阶段完成之后不要急着上复杂模型。先用少量字段和默认参数跑一个最简单的最小样例比如逻辑回归或决策树。它能验证数据管线是否真的打通。我在实践中发现最小样例的价值不在于精度而在于排除问题。如果简单模型完全跑不出来说明问题大概率出在数据预处理或特征转换上。如果简单模型能跑但精度很低再考虑特征工程和复杂算法这样排查方向会清晰很多。这也符合整个机器学习项目的推进思路一步稳再走下一步。理解数据是第一步这步走得越扎实后面踩坑的概率越低。如果你是初学者或者正处在期末复习、实训平台刷题阶段不要只记着算法原理和公式推导抽一个晚上找一份公开数据集把上面这些步骤完整走一遍你会比只看课件的人更明白机器学习到底在做什么。
