Pandas数据分析零基础入门：两小时跑通数据处理全流程-北京尧图网络

很多人学 Pandas 数据分析时容易卡在第一步不知道从哪里安装、装完不知道打开什么、打开之后又不知道该做什么。其实 Pandas 并不是一个高门槛的框架它就是用来处理表格型数据的工具库。对刚接触编程的小白来说最有价值的不是背 API而是先建立一条完整路径准备好环境、读取数据、清理数据、统计汇总、保存结果。我下面按两小时能跑通的方式拆一遍。这段内容适合完全零基础的读者也适合已经会 Excel但想把重复操作自动化的人。这条路径的核心就一句话先用最简数据跑通再替换成你自己的文件。不要一上来就处理几十万行的正式数据也不要急着学所有函数。先把读取、查看、筛选、清洗、分组、保存这六个动作连起来两小时足够。1. 先搞明白 Pandas 解决什么问题为什么值得花两小时学它1.1 数据分析中最常见的任务其实是表格处理很多人听到“数据分析”第一反应是机器学习、算法、建模。但真实工作里大部分时间花在“先把自己需要的数据表整理干净”。比如你从系统导出一份 Excel里面有几千行订单记录有日期、城市、销售员、金额、退款状态。你要做的可能是统计每个城市的销售额是多少找出销售额最高的前 10 条订单去掉重复的订单号日期格式从“2024/1/1”转成标准日期按月份汇总后画一张柱状图这些事情用 Excel 也能做但一旦文件变大、规则变多、需要反复执行手动点来点去就会很累。Pandas 数据分析的核心能力就是把这类表格操作变成代码。代码跑一遍之后以后换一份新数据只要格式差不多同一个脚本还能继续用。1.2 用 Pandas 代替 Excel 和纯 Python 的差别Pandas 有两个最基础的对象一个叫 Series一个叫 DataFrame。你可以把 DataFrame 理解为一张 Excel 表格Series 是其中的一列。DataFrame 有行索引、列名、单元格数据操作起来比 Python 原生的列表和字典要直观得多。如果你只用纯 Python 处理表格通常会写成列表套字典筛选的时候要一层层循环代码又长又容易错。Pandas 把大量操作封装成方法比如按条件筛选直接写成df[df[销售额] 100]看起来就像在写一句话不需要手动循环。和 Excel 相比Pandas 的优势是流程可复用。你在 Excel 里做的筛选、排序、公式换一份数据要重新操作一遍。Pandas 把整套流程写成脚本之后只要改动文件路径结果就能自动出来。这里也适合提醒新手Pandas 不是要把 Excel 完全替换掉而是处理“重复、批量、多步骤”的表格任务时更省事。2. 两小时第一步装好 Pandas 并跑出第一个 DataFrame2.1 安装 Pandas三种方式按你的习惯选先确认一个前提你要在这台电脑上能运行 Python。一般有两种常见情况。第一种你只装了 Python 本身没有装 Anaconda。这时可以直接用 pip 安装。打开命令行在 Windows 里打开 cmd 或 PowerShell在 macOS 里打开终端输入pip install pandas如果网络比较慢可以临时换用国内镜像源例如pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple我一般建议先直接使用默认源遇到超时再换镜像不要一开始就把源改乱。第二种情况你使用 PyCharm。很多人问“pycharm怎么安装pandas包”其实不用去命令行折腾直接在图形界面里装。打开 PyCharm 的 File - Settings - Project - Python Interpreter点右侧的加号搜索 pandas然后点 Install Package。界面里能看到安装进度装完会提示成功。第三种方式是安装 Anaconda。Anaconda 自带 pandas、NumPy、Jupyter 等常用工具适合不想处理依赖关系的人。安装以后在 Anaconda Prompt 里运行conda install pandas或者在 Jupyter Notebook 里直接导入通常都能用。2.2 导入 Pandas创建最简单的 DataFrame安装完成后打开你的 Python 编辑器或 Jupyter Notebook输入import pandas as pd这里的pd是 pandas 的常用别名几乎所有教程都会这么写。你至少要先看到这行代码不报错才算环境准备好了。然后创建第一个 DataFrameimport pandas as pd data { 姓名: [张三, 李四, 王五], 城市: [北京, 上海, 广州], 销售额: [100, 200, 150] } df pd.DataFrame(data) print(df)运行结果会是一张三行三列的表格。这步的意义在于先确认你已经能创建 DataFrame然后再往下学习如何读取外部文件。如果你的编辑器输出没显示表格检查是不是把print(df)写成了print(data)data 是普通字典不是 DataFrame。2.3 学习环境选择Jupyter Notebook 还是 PyCharm如果你是从 Excel 转过来的新手我个人建议使用 Jupyter Notebook。它的特点是单元格可以分开执行每一步结果都显示在代码下方非常直观。比如你运行df.head()下面直接出现表格不用额外 print。如果你更习惯写完整脚本也可以用 PyCharm。PyCharm 更适合写一次跑完整流程的脚本调试起来方便。但要注意PyCharm 里想看到输出要么写print(df)要么在 Debug 模式看变量窗口。第一次跑的时候不要觉得“为什么没有显示”这是环境差异不是代码问题。3. 核心操作一口气过一遍读取、查看、选择、修改3.1 读取 CSV 和 Excel 数据Pandas 数据分析最常见的入口就是把外部数据读进来。先准备一个文件比如sales.csv然后运行import pandas as pd df pd.read_csv(sales.csv) print(df.shape) print(df.head())df.shape返回一个元组比如(1000, 8)表示 1000 行 8 列。看到行数列数就能大致确认文件有没有读错位。如果文件是 Excel用read_exceldf pd.read_excel(sales.xlsx, sheet_nameSheet1)这里要提醒两个容易踩的坑。第一文件路径。如果你的 Python 脚本和文件在同一个目录可以直接写文件名如果不在同一目录最好写完整路径。第二编码。读取 CSV 时如果遇到乱码通常要指定编码df pd.read_csv(sales.csv, encodingutf-8)Windows 环境下很多从 Excel 导出的 CSV 是 GBK 编码这时可以试试df pd.read_csv(sales.csv, encodinggbk)先不要记太多编码知识记住“乱码就换 encoding 参数”就够了。3.2 快速查看数据全貌读取成功以后不要急着处理。先用几个方法看清楚数据长什么样print(df.head(5)) # 前 5 行 print(df.tail(3)) # 后 3 行 print(df.info()) # 每列的非空数量和类型 print(df.describe()) # 数值列的描述统计head和tail用来快速检查数据是否正常。info会显示每一列有几个非空值是什么类型是整数、浮点数还是对象。describe对数值列给出计数、均值、最小值、最大值和分位数能帮你快速发现明显异常。这一步很关键。很多新手拿到数据直接开始写筛选条件结果发现列名不对、数据类型不对折腾半天。先把数据看一遍能省很多时间。3.3 选择列、行和条件筛选选择列很简单df[城市] df[[城市, 销售额]]注意只选一列时得到的是 Series选多列时要用两层方括号得到的是 DataFrame。选择行有几种常用方式df.iloc[0:5] # 按位置取前 5 行 df[df[销售额] 100] # 筛选销售额大于 100 的行条件筛选是 Pandas 里使用频率最高的功能。你可以用逻辑与、逻辑或|组合条件df[(df[城市] 北京) (df[销售额] 100)]注意Python 里通常用and和or但在 Pandas 条件筛选里要用和|这一点经常让新手报错。还要注意比较单个值时用双等号不要写成一个等号。3.4 修改数据新增列、替换值、数据类型转换新增列时可以直接按已有的列计算df[利润率] df[利润] / df[销售额]替换值可以用replacedf[城市] df[城市].replace(北上广, 北京)Pandas 里的类型转换也很常用。比如“销售额”被读成了字符串你想让它参与求和就需要先转成数字df[销售额] df[销售额].astype(float)做类型转换之前最好先运行df.info()确认当前类型是不是 object。如果是 object而且里面混有“暂无”“-”这类非数字字符直接astype(float)会报错。这种情况下可以先筛选出异常值或者用pd.to_numeric配合errorscoerce把无法转换的内容变成缺失值df[销售额] pd.to_numeric(df[销售额], errorscoerce)这种处理方式比直接强转更稳。但用了coerce之后你要记得检查缺失值否则后面求和时会自动跳过这些行。4. 数据清洗阶段缺失值、重复值、异常值一次说清4.1 先检查再决定怎么处理数据清洗没有固定公式但有固定顺序。我的习惯是先检查缺失值再检查重复值最后看数值分布。print(df.isnull().sum())isnull()会把每个单元格变成 True 或 Falsesum()统计出每一列有多少个缺失值。看到结果后你才能判断是“少量缺失直接删除”还是“大量缺失需要填充”。重复值检查用print(df.duplicated().sum())duplicated()返回本行是否和前面的行重复sum()统计重复行数。注意这条检查的是全部列完全一样的行如果你想按指定列判断需要加subset参数。4.2 缺失值删除还是填补缺失值有两种常见处理方式删除或者填补。如果缺失值占比很低比如 1000 行里只有 2 行缺并且缺失列对你后续统计不重要可以直接删除df df.dropna(subset[销售额])subset指定只在某个列上做判断。删除行时要小心如果你把整张表里只要有一个缺失值就删掉可能把大量不是缺失的数据也删了。所以通常要明确“在哪一列上不允许缺失”。如果缺失列很重要而且缺失量较大就要考虑填充。连续数值列可以用均值或中位数填充比如df[销售额] df[销售额].fillna(df[销售额].median())为什么用中位数而不是平均数因为平均值容易被极端值带偏中位数更稳定。做数据分析时你要先看describe()中最小值和最大值是否异常再决定用哪个统计量填充。4.3 重复值保留第一条还是最后一条处理重复行时如果没有特殊要求默认保留第一条df df.drop_duplicates()如果要根据某些列判断重复并保留第一条可以这样df df.drop_duplicates(subset[日期, 城市], keepfirst)比如你有一份订单表正常情况下每条订单号只能出现一次但系统重复导出了两次。这时用订单号列去重keepfirst表示保留第一行。还有一种情况你需要按“日期和城市”两个列同时判断只要这两列的值都一样就认为是同一条数据。这时候把这两列放进subset列表里就行。如果业务要求保留最新记录就把keep改成last保留最后一条。去重之后记得再看一次df.shape确认删掉了多少行。如果删得太多说明原始数据里有大量重复要去源头找原因而不是在这里一直调参数。4.4 异常值看数值分布和业务规则异常值不一定算错误但会影响统计结果。可以用describe()看最大最小值比如“销售额”最大值是 9999999远超正常订单范围那就要排除或单独处理。简单做法是加筛选条件只看正常区间df df[(df[销售额] 0) (df[销售额] 100000)]或者用分位数判断比如低于 1% 分位或高于 99% 分位的值单独看。对于小白我不建议一开始就学复杂的异常检测算法先用describe()和业务常识把明显不合理的数据找出来已经能解决大部分问题。5. 分组、聚合和排序把明细数据变成统计结果5.1 groupby 的基本用法当你需要按城市、按月份、按销售员统计时就会用到分组。Pandas 的分组用法很直接df.groupby(城市)[销售额].sum()看到这行代码可以这样理解先按“城市”把数据分成几组然后取每组里的“销售额”列最后求合计。运行结果会按城市名称显示汇总值。如果你是刚接触建议先跑一个最简单的 groupby不要一次写多列分组。多列分组也常见写法和单列类似只是groupby里的参数变成列表df.groupby([城市, 月份])[销售额].sum()分组后得到的是一个 Series后面可以继续转成 DataFrame也可以直接保存。5.2 用 agg 同时计算多个指标有时候你不只想求和还想看平均销售额、订单数量、最大单笔金额。用agg更省事result df.groupby(城市)[销售额].agg([sum, mean, count, max]) print(result)这里sum是总和mean是平均值count是订单数max是最大单笔金额。agg可以传一个列表同时算出多个指标避免写很多行代码。agg也可以对不同列用不同函数。比如result df.groupby(城市).agg({ 销售额: sum, 订单号: count, 折扣: mean })用 dict 写起来稍微复杂但功能更强。对小白来说先掌握列表形式就够了等以后需要再做扩展。5.3 排序、排名和取每组第一条分组聚合之后通常要排序result result.sort_values(sum, ascendingFalse)这里ascendingFalse表示降序排列也就是销售额从高到低。如果你不记得参数可以现场试一下默认ascendingTrue是升序改成 False 才是降序。取每组第一条也是常用需求。比如每个城市要保留销售额最高的一条记录可以先用sort_values排序再按城市分组取第一行df df.sort_values(销售额, ascendingFalse) top_per_city df.groupby(城市).head(1)这里有一个容易误解的地方df.groupby(城市).head(1)返回的是每个组里的第一行前提是前面已经排好序。如果你的数据没有排序那它取到的就是原始顺序里的第一行不是“最大”那一行。6. 输出结果画图、保存文件、和 NumPy 配合6.1 用 Matplotlib 快速画图数据分析不只是出表格还需要可视化。Pandas 本身不带画图功能通常要配合 Matplotlib。先安装pip install matplotlib然后画一个简单的柱状图import matplotlib.pyplot as plt df.groupby(城市)[销售额].sum().plot(kindbar) plt.title(各城市销售额) plt.show()这里的关键是plot(kindbar)pandas 的 Series 和 DataFrame 都自带plot方法它会调用 Matplotlib 绘制图形。处理中文标题时如果发现中文显示成方块通常是字体问题可以在画图前设置中文字体。不同系统配置不一样我用过的方案里最简单的是在开头加两行plt.rcParams[font.sans-serif] [SimHei, Arial Unicode MS] plt.rcParams[axes.unicode_minus] False第一行指定中文字体第二行解决负号显示异常。如果你在 Linux 服务器上没有对应字体可能需要先装字体否则中文还是显示不了。对于新手我的建议是先不用追求中文显示画图时把列名改成英文或拼音先把流程跑通。6.2 把 DataFrame 保存到 CSV 和 Excel处理完的数据要能导出。最常用的是df.to_csv(output.csv, indexFalse, encodingutf-8-sig)注意indexFalse表示不把行索引写进文件。很多新手忘记加这个参数导出后发现多了“Unnamed: 0”列就是因为没关闭索引。保存 Excel 需要一个额外库叫openpyxlpip install openpyxl然后运行df.to_excel(output.xlsx, indexFalse, sheet_name结果)如果你希望一个 Excel 文件里有多个表可以先创建 ExcelWriterwith pd.ExcelWriter(output.xlsx) as writer: df.to_excel(writer, sheet_name明细, indexFalse) result.to_excel(writer, sheet_name汇总, indexFalse)这里使用with语句能自动保存并释放文件句柄减少文件占用报错。6.3 和 NumPy 配合处理数值运算Pandas 的底层大量依赖 NumPy很多时候你会把两者配合着用。常见的例子是给某一列做数值转换import numpy as np df[销售额] df[销售额].astype(float) df[销售额对数] np.log1p(df[销售额])np.log1p是对销售额取对数常用于拉低极大值造成的影响。有时候要判断某个值是否为缺失值也可以用np.isnan。如果数据量很大Pandas 支持保存成 parquet 或 feather 格式读取更快、占用空间更小。不过需要安装 pyarrowpip install pyarrow保存方式df.to_parquet(data.parquet) df.to_feather(data.feather)读取df pd.read_parquet(data.parquet) df pd.read_feather(data.feather)这两类格式对新手来说可以先了解不急着用。等你处理几十万行、上百万行数据时会发现 CSV 读取很慢那时候再切过去感受更明显。7. 两小时里最容易踩的坑和排查顺序7.1 安装不成功先看 pip 镜像和 Python 版本最常见的报错是ModuleNotFoundError: No module named pandas遇到这个先确认你在哪个 Python 环境里运行。如果你安装了 Anaconda又用 PyCharm 创建了一个新的虚拟环境新环境里可能没有 pandas。解决办法是在 PyCharm 的 Python Interpreter 设置里安装或者在当前命令行确认pip list | grep pandas。不要只在终端装一次要保证你运行的 Python 解释器和你安装 pandas 的解释器是同一个。Python 版本和 pandas 版本适配问题也确实存在比如 Python 3.11、3.12 对某些旧版 pandas 可能不兼容。如果安装时提示找不到兼容版本建议直接安装最新版 pandas或者先用 Anaconda 自带的 Python 环境能省掉很多版本烦恼。7.2 读取文件报错路径、编码、分隔符读取 CSV 时最常见的三种报错FileNotFoundError文件路径不对。检查文件名是否拼写正确文件是否真的放在当前目录。UnicodeDecodeError编码不对。试试encodinggbk或encodinglatin1。列数对不上可能分隔符不是逗号比如某些文件是制表符分隔。这时可以加sep\t。如果在pd.read_csv遇到复杂解析问题我建议先用文本编辑器打开文件看前几行确认分隔符、编码和表头再回到 Pandas 里调整参数。这一步看起来笨但比反复试参数快很多。7.3 数据类型转换报错先看 dtype 和缺失值做astype(float)报错通常是因为列里有非数字内容。解决方法是我们之前提到的pd.to_numeric(..., errorscoerce)先把非法字符转成缺失值再处理缺失值。还有一种情况明明数据看起来是数字但info()显示 object。很可能文件里混了空格、逗号或百分号。先用df[列名].unique()查看有哪些独特值很多时候一眼就能发现问题。7.4 性能问题小样本先验证批量任务要控制内存Pandas 处理几万行数据很轻松但如果你拿到几百万行而且在多个列上频繁做复杂操作可能会感觉卡顿。此时不要急着把代码重构到 Spark先做几步优化只读取需要的列用usecols参数。在读取时设定正确的数据类型用dtype参数字段。先用df.head(1000)跑通全流程确认没问题后再开全量。批量处理很多文件时不要把所有文件一次性读进内存可以循环读取后逐文件处理再合并最终结果。这里也回应一个经常出现的问题Pandas 能不能替代 Spark如果数据量小完全不用 Spark如果数据量大到单机内存撑不住再考虑拆分文件、压缩数据或者换 Spark、DuckDB 等工具。对小白来说先把 Pandas 的单机能力用好其实已经能覆盖 90% 以上日常表格任务。排查问题时我一般按这个顺序走先看报错信息再看输入文件再看当前 Python 环境最后才改参数。不要一看到报错就怀疑 Pandas 版本多数情况下是路径、编码、数据类型或者解释器环境没有弄对。两小时不见得能让你记住所有 API但把“读取数据 - 查看数据 - 筛选修改 - 清洗 - 分组聚合 - 保存结果”这条主线走通后面再遇到具体函数查文档、看报错就能很快定位。很多人半途而废不是因为 Pandas 难而是因为没有一条完整流程总是在单个函数里打转。先把这条路跑通你已经比大部分人往前迈了一大步。

Pandas数据分析零基础入门：两小时跑通数据处理全流程

相关推荐

STM32驱动ADS1110：16位高精度ADC I2C实战解析

纸飞机串口调试助手：自定义HEX协议与串口调试实战

从蛛网膜下腔出血到血脑屏障模型：云克隆大鼠脑膜细胞原代产品的多场景科研实战

更多资讯

电工证操作票怎么写全国通用操作流程全解析

考电工证北京实操考试心里没底怕挂科？内部消息全在这了

锅炉算不算特种工？多久拿证才能上岗找工作？

湖北建设局电工证怎么考？学历不高怕报不上名？全国通用证件怎么拿？

电工证考试科目2-3真实经历：证书过期了不知道怎么复审延期怎么办

工地太忙根本没时间复习考试？【办电工证去哪儿审】在这儿找答案！

今日更新

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本周精选

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？

相关推荐

STM32驱动ADS1110：16位高精度ADC I2C实战解析

纸飞机串口调试助手：自定义HEX协议与串口调试实战

从蛛网膜下腔出血到血脑屏障模型：云克隆大鼠脑膜细胞原代产品的多场景科研实战

更多资讯

电工证操作票怎么写 全国通用操作流程全解析

考 电工证 北京 实操考试心里没底怕挂科？内部消息全在这了

锅炉算不算特种工？多久拿证才能上岗找工作？

湖北建设局电工证怎么考？学历不高怕报不上名？全国通用证件怎么拿？

电工证考试科目2-3真实经历：证书过期了不知道怎么复审延期怎么办

工地太忙根本没时间复习考试？【办电工证去哪儿审】在这儿找答案！

今日更新

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗 良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本周精选

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗 良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？

电工证操作票怎么写全国通用操作流程全解析

考电工证北京实操考试心里没底怕挂科？内部消息全在这了

新疆电工作业干活累吗良心建议助你避开考不过的坑

新疆电工作业干活累吗良心建议助你避开考不过的坑