Python疫情数据分析实战：从脏数据清洗到交互可视化-北京尧图网络

简介本资源是一份高质量的Python课程设计成果面向计算机、电子信息工程、数学等专业本科生聚焦COVID-19疫情数据的全流程分析与可视化实践适用于课程设计、期末大作业及毕业设计选题参考。压缩包共66个文件含17个核心Python脚本如spider-yqkx.py、mapworld.py、logistic.py、5个CSV疫情数据集、16张可视化PNG图表、5个交互式HTML报告页面以及Jupyter Notebook.ipynb、Dockerfile、配置文件.ini/.cfg和中文文档.docx总大小4.12MB结构完整、模块清晰覆盖数据爬取、清洗、时序建模、NLP情感分析、地理热力图绘制等关键环节。已有62人学习下载内容经导师指导并获98分高分评价提供可直接运行的代码、带注释的分析逻辑、多维度可视化结果及配套技术文档助力读者快速掌握Pandas、Matplotlib、Seaborn、jieba、TF-IDF等工具在真实公共卫生数据分析场景中的综合应用。1. 用 Python 做 COVID-19 疫情数据的分析与可视化不是复刻新闻图表而是练出「数据清洗—建模逻辑—动态呈现」闭环能力你打开过国家卫健委每日通报也刷到过那些带时间轴、热力图、折线叠加的疫情可视化作品——但真正动手时常卡在第一步下载的 CSV 里“累计确诊”列混着“待确认”“修订中”“—”地级市数据和省级统计口径不一致2020 年初的早期报告连日期格式都是“1月23日”而非 ISO 标准更别说境外数据源如 Johns Hopkins字段名全英文、单位不统一、更新延迟。这不是不会画图的问题是原始数据根本没达到可分析状态。这个课程设计项目本质是一次高强度的数据工程实战它不追求炫酷大屏而聚焦于「从脏乱原始表出发用 Pandas 拆解时间维度、用 GeoPandas 对齐地理层级、用 Plotly 实现交互式趋势对比、最后用 Flask 封装成可本地运行的轻量报告系统」。适合刚学完 Pandas 基础、想把课堂代码变成真实项目履历的学生也适合需要快速验证数据处理链路是否健壮的业务分析师。它不依赖任何云服务或在线 API所有数据本地加载、所有图表离线渲染、所有代码可一键复现——这才是课程设计该有的样子可控、可追溯、可答辩。2. 数据获取与结构化清洗为什么直接读 CSV 必翻车三个必须手动干预的硬核环节2.1 选择权威且结构稳定的本地数据源放弃实时 API拥抱离线快照课程设计明确要求“可复现”意味着不能依赖随时变更的网络接口。我们采用三类离线数据包组合国内主干数据国家卫健委官网历史通报 PDF已转为文本后人工校对提取的china_daily.csv含省/直辖市每日新增、累计、治愈、死亡全球补充数据Johns Hopkins CSSE GitHub 仓库的time_series_covid19_confirmed_global.csv2020–2022 年存档版提供国家粒度确诊数地理编码映射表自建province_city_mapping.csv解决“湖北”“武汉市”“武汉”等多级名称歧义。提示不要用爬虫实时抓取卫健委页面——PDF 转文本虽费时但保证字段稳定JHU 数据虽全但其全球表中“China”下无细分省市必须与国内数据拼接这是本项目最关键的融合点。2.2 时间列标准化从“1月23日”到datetime64[ns]的强制转换策略原始china_daily.csv中日期列为中文格式直接pd.to_datetime()会报错或解析为 NaT。必须分步处理import pandas as pd import re def parse_chinese_date(date_str): 将1月23日、2020年1月23日统一转为 YYYY-MM-DD if pd.isna(date_str): return pd.NaT # 匹配2020年1月23日 ymd_match re.match(r(\d{4})年(\d{1,2})月(\d{1,2})日, str(date_str)) if ymd_match: return pd.Timestamp(f{ymd_match.group(1)}-{int(ymd_match.group(2))}-{int(ymd_match.group(3))}) # 匹配1月23日默认2020年因数据起始年固定 md_match re.match(r(\d{1,2})月(\d{1,2})日, str(date_str)) if md_match: return pd.Timestamp(f2020-{int(md_match.group(1))}-{int(md_match.group(2))}) return pd.NaT # 应用转换 df pd.read_csv(data/china_daily.csv, encodingutf-8) df[date] df[日期].apply(parse_chinese_date) df df.dropna(subset[date]) # 删除无法解析的行 df df.sort_values(date).reset_index(dropTrue)参数说明re.match优先匹配带年份的完整格式避免 2020/2021 年份混淆对纯月日格式默认补2020是因国内首例通报在 2020 年 1 月且课程设计聚焦疫情初期演化dropna强制剔除解析失败行比用errorscoerce更可控——宁可少几条数据也不留NaT污染后续滚动计算。2.3 缺失值与异常值的领域规则清洗不是填均值而是按流行病学逻辑修正疫情数据中“0”不等于“无记录”。例如某日某省“新增确诊”为空白可能是未通报也可能是“0 新增”。需结合上下文判断# 规则1若新增确诊为空且累计确诊有值则推断为0因累计数未变 df[新增确诊] df[新增确诊].fillna( (df[累计确诊] - df[累计确诊].shift(1)).where( df[累计确诊].notna() df[累计确诊].shift(1).notna(), 0 ) ) # 规则2剔除明显异常值如单日新增超10万而全省总人口不足千万 df df[df[新增确诊] 50000] # 设定合理上限依据湖北峰值约134362020.2.12 # 规则3对治愈、死亡列强制非负且不大于累计确诊 for col in [治愈, 死亡]: df[col] df[col].clip(lower0, upperdf[累计确诊])逻辑说明第一步用shift(1)计算相邻日累计差值仅当两日累计均有效时才填充避免首日或断更日误判第二步上限设为 5 万而非 1 万是预留弹性——若后续加入其他疫情如流感季叠加阈值可调clip()比np.where()更安全它自动广播标量边界且不改变原 dtype。3. 多源数据融合与地理空间对齐如何让“湖北省”和“Hubei”在一张地图上精准重叠3.1 国内数据与全球数据的键对齐用province_city_mapping.csv消除命名鸿沟JHU 全球表中中国省份列为英文如Hubei而国内表为中文湖北省。直接merge会全部失配。必须构建映射字典# 加载映射表 mapping_df pd.read_csv(data/province_city_mapping.csv, encodingutf-8) # 构建双向映射 cn_to_en dict(zip(mapping_df[中文名], mapping_df[英文名])) en_to_cn dict(zip(mapping_df[英文名], mapping_df[中文名])) # 将JHU数据中的Province/State列转为中文标准名 jhu_df pd.read_csv(data/time_series_covid19_confirmed_global.csv) jhu_df[Province/State] jhu_df[Province/State].map(en_to_cn).fillna(jhu_df[Province/State]) # 合并以中文名为key左连接国内数据 merged_df pd.merge( jhu_df.melt(id_vars[Province/State, Country/Region], var_namedate_str, value_nameconfirmed_global), df.rename(columns{日期: date_str}), on[Province/State, date_str], howleft )关键点melt()将 JHU 宽表转为长表使日期列变为普通字段便于与国内数据的date_str对齐map().fillna()保留未映射项如Diamond Princess邮轮避免整行丢失howleft保证全球数据主体结构不变缺失的国内字段如治愈数留空后续用插值或标记。3.2 地理坐标绑定不用高德API用geopandasnaturalearth_lowres离线加载中国省界课程设计要求“可视化”但学生常陷入申请地图 API 密钥的死循环。正确做法是使用离线地理数据import geopandas as gpd from shapely.geometry import Point # 加载世界低精度边界内置无需下载 world gpd.read_file(gpd.datasets.get_path(naturalearth_lowres)) # 过滤中国及省级行政区需额外加载中国省界shp因naturalearth不含省级 # 此处用公开可用的中国省级GeoJSON如github.com/giswqs/geebook-data/raw/main/china-provinces.geojson china_provinces gpd.read_file(data/china-provinces.geojson) # 将清洗后的疫情数据与省界关联 # 关键确保china_provinces的NAME列与疫情df的Province/State完全一致 merged_geo china_provinces.merge( df.groupby(Province/State)[累计确诊].max().reset_index(), left_onNAME, right_onProvince/State, howleft )参数说明naturalearth_lowres仅含国家边界必须额外加载中国省级 GeoJSON否则无法绘制“湖北”“广东”等merge用left_onNAME和right_onProvince/State要求两边名称严格一致——这就是为什么第 2.1 节必须做中文标准化groupby(...).max()取各省最终累计确诊用于静态热力图若需动态改用pivot_table生成时空矩阵。3.3 时间序列对齐解决“国内日报”与“全球日更”不同步问题JHU 数据每日 UTC 时间更新国内数据为北京时间通报存在 1 天偏移。需强制对齐到同一时间基准# 统一转换为北京时间UTC8 jhu_dates pd.to_datetime(jhu_df.columns[4:], format%m/%d/%y) pd.Timedelta(hours8) # 重新设置列名 jhu_df.columns list(jhu_df.columns[:4]) [d.strftime(%Y-%m-%d) for d in jhu_dates] # 国内数据已为 datetime直接取 date 字符串对齐 df[date_str] df[date].dt.strftime(%Y-%m-%d)血泪经验不要用tz_localize/tz_convert因原始数据无时区信息强行加时区易引发NonExistentTimeErrorpd.Timedelta(hours8)是最稳妥的偏移方式且strftime输出字符串后merge时不会因 datetime 类型差异失败。4. 动态可视化实现用 Plotly Express 做交互图表而不是 Matplotlib 静态图4.1 趋势对比图用px.line实现多省新增确诊滚动对比Matplotlib 写 5 行代码只能画一条线Plotly Express 一行搞定多省交互import plotly.express as px # 准备趋势数据取前10高发省按日期聚合 top_provinces df.groupby(Province/State)[累计确诊].max().nlargest(10).index trend_data df[df[Province/State].isin(top_provinces)].copy() trend_data[date] pd.to_datetime(trend_data[date]) fig px.line( trend_data, xdate, y新增确诊, colorProvince/State, titleTop 10 省份每日新增确诊趋势2020.01–2022.12, labels{新增确诊: 新增病例数, date: 日期}, line_shapespline, # 平滑曲线更符合疫情传播特征 markersTrue, # 显示数据点便于定位峰值日 height600 ) fig.update_traces(hovertemplateb%{fullData.name}/bbr日期: %{x}br新增: %{y:.0f}extra/extra) fig.show()为什么选line_shapespline疫情传播是非线性的Spline 插值比线性更贴近真实增长曲线markersTrue强制显示所有点避免小省数据被平滑淹没hovertemplate自定义悬停提示去掉默认的 trace index突出省份名和数值。4.2 地理热力图用px.choropleth绘制省级确诊分布支持时间滑块静态地图无法体现疫情演化必须加入时间维度# 构建时空数据框每行是省日期确诊数 geo_timeline df.groupby([Province/State, date])[累计确诊].max().reset_index() geo_timeline[date_str] geo_timeline[date].dt.strftime(%Y-%m-%d) # 加载中国省界GeoDataFrame确保geometry列存在 provinces_gdf gpd.read_file(data/china-provinces.geojson) provinces_gdf provinces_gdf.to_crs(EPSG:4326) # 统一WGS84坐标系 # 合并地理数据与疫情数据 merged_geo provinces_gdf.merge( geo_timeline, left_onNAME, right_onProvince/State, howleft ) fig px.choropleth( merged_geo, geojsonmerged_geo.__geo_interface__, locationsNAME, color累计确诊, animation_framedate_str, # 关键启用时间滑块 color_continuous_scaleReds, range_color[0, merged_geo[累计确诊].max()], title中国各省份累计确诊数动态热力图, height700 ) fig.update_geos(fitboundslocations, visibleFalse) # 自动缩放到中国范围 fig.show()避坑要点geojsonmerged_geo.__geo_interface__是核心它将 GeoDataFrame 转为 Plotly 可识别的 GeoJSON 结构fitboundslocations替代手动设置scopeasia避免地图裁剪错误range_color必须设固定范围否则每帧颜色标尺跳变失去可比性。4.3 复合指标仪表盘用px.scatter展示“治愈率 vs 死亡率”散点矩阵单一指标易误导需多维交叉分析# 计算各省最终治愈率、死亡率 summary df.groupby(Province/State).agg( final_confirmed(累计确诊, max), final_cured(治愈, max), final_dead(死亡, max) ).reset_index() summary[cure_rate] (summary[final_cured] / summary[final_confirmed]).round(3) summary[death_rate] (summary[final_dead] / summary[final_confirmed]).round(3) fig px.scatter( summary, xcure_rate, ydeath_rate, sizefinal_confirmed, colorProvince/State, hover_nameProvince/State, title各省治愈率 vs 死亡率散点图气泡大小累计确诊, labels{cure_rate: 治愈率, death_rate: 死亡率}, size_max60 ) fig.add_hline(ysummary[death_rate].mean(), line_dashdot, annotation_text平均死亡率) fig.add_vline(xsummary[cure_rate].mean(), line_dashdot, annotation_text平均治愈率) fig.show()参数深意sizefinal_confirmed用气泡大小编码总量避免只看比率忽略规模效应add_hline/add_vline添加均值参考线一眼识别“高治愈低死亡”的优质区域右上象限size_max60限制最大气泡防止湖北等大省遮盖其他省份。5. 本地报告系统封装用 Flask 构建免部署的 HTML 报告告别 PPT 截图5.1 为什么不用 Jupyter Notebook 直接交作业三个硬伤答辩时无法交互评委点不动你的fig.show()只能看静态截图路径依赖严重pd.read_csv(data/xxx.csv)在别人电脑上必报FileNotFoundError版本混乱Notebook 嵌入了plotly版本、pandas版本、甚至geopandas的 GDAL 版本换环境就崩。Flask 方案彻底解决所有数据、图表、样式打包进一个文件夹双击run_report.py即启动本地服务器浏览器打开http://localhost:5000即可查看完整交互报告。5.2 最小可行 Flask 应用50 行代码实现图表嵌入与路由# run_report.py from flask import Flask, render_template import plotly import plotly.express as px import json import pandas as pd app Flask(__name__) app.route(/) def index(): # 1. 读取清洗后数据 df pd.read_csv(data/cleaned_china_daily.csv) # 2. 生成趋势图复用 4.1 代码 fig_trend px.line(df, xdate, y新增确诊, colorProvince/State) graph_trend json.dumps(fig_trend, clsplotly.utils.PlotlyJSONEncoder) # 3. 生成热力图复用 4.2 代码此处简化为静态图 fig_heat px.choropleth(df.groupby(Province/State)[累计确诊].max().reset_index(), locationsProvince/State, locationmodecountry names, color累计确诊) graph_heat json.dumps(fig_heat, clsplotly.utils.PlotlyJSONEncoder) return render_template(report.html, graph_trendgraph_trend, graph_heatgraph_heat) if __name__ __main__: app.run(debugTrue, host0.0.0.0, port5000)目录结构要求COVID-19_Report/ ├── run_report.py # 主程序 ├── data/ │ ├── cleaned_china_daily.csv # 清洗后数据 ├── templates/ │ └── report.html # HTML 模板见下节 └── static/ └── style.css # 可选自定义CSS5.3 HTML 模板用plotly.js渲染图表零前端基础templates/report.html内容精简到极致!DOCTYPE html html head titleCOVID-19 疫情分析报告/title script srchttps://cdn.plot.ly/plotly-2.24.1.min.js/script stylebody { font-family: Segoe UI, sans-serif; margin: 40px; }/style /head body h1COVID-19 疫情数据分析与可视化报告/h1 h2每日新增确诊趋势/h2 div idtrend_plot stylewidth:100%;height:500px;/div h2累计确诊地理分布/h2 div idheat_plot stylewidth:100%;height:600px;/div script // 渲染趋势图 var trend_data {{ graph_trend | safe }}; Plotly.newPlot(trend_plot, trend_data.data, trend_data.layout); // 渲染热力图 var heat_data {{ graph_heat | safe }}; Plotly.newPlot(heat_plot, heat_data.data, heat_data.layout); /script /body /html关键细节script src...直接引用 CDN避免本地托管plotly.min.js{{ graph_trend | safe }}是 Jinja2 语法| safe告诉 Flask 不转义 JSON 字符串Plotly.newPlot()传入data和layout两部分这是 Plotly JSON 的标准结构。注意首次运行python run_report.py后访问http://localhost:5000即可。关闭终端即关闭服务无后台进程残留完全符合课程设计“本地、轻量、可复现”要求。6. 避坑指南课程设计答辩时老师最爱问的 4 个致命问题及现场应对话术6.1 现象图表显示空白控制台报ValueError: Invalid value of type builtins.str received for the z property of choropleth原因px.choropleth的color参数传入了字符串列如累计确诊但该列实际含空值或非数字字符如-、待确认。Plotly 尝试将字符串转数字失败。解决在merge后立即检查merged_geo[累计确诊].apply(type).unique()确认全为float或int强制转换并填充merged_geo[累计确诊] pd.to_numeric(merged_geo[累计确诊], errorscoerce).fillna(0)答辩话术“老师这个问题暴露了数据质量校验的重要性。我在load_and_clean.py第 87 行加入了pd.to_numeric(..., errorscoerce)并将所有无法转数字的值设为 0同时在报告首页添加了‘数据质量说明’模块列出清洗规则。”6.2 现象时间滑块无法播放所有帧显示同一日期原因animation_frame参数指定的列如date_str在数据中重复出现或date_str值未去重导致 Plotly 无法识别唯一时间点。解决检查geo_timeline[date_str].nunique()应等于总天数修复geo_timeline geo_timeline.drop_duplicates(subset[Province/State, date_str])答辩话术“我最初忽略了多省同日数据可能重复导入。现在在数据预处理阶段增加了drop_duplicates并在README.md中注明‘时空数据唯一性校验’为必检项。”6.3 现象Flask 启动报错OSError: [WinError 10013] 以一种访问权限不允许的方式做了一个访问套接字的尝试原因Windows 系统下端口 5000 被 Skype、IIS 或其他服务占用。解决改用其他端口app.run(port8080)或查杀占用进程netstat -ano | findstr :5000→taskkill /PID PID /F答辩话术“这是 Windows 环境常见端口冲突。我在run_report.py开头添加了端口检测逻辑若 5000 被占自动切换至 8080并在控制台输出提示。您看这里——指向代码”6.4 现象地图中国界显示为方块或错位china-provinces.geojson加载失败原因GeoJSON 文件编码非 UTF-8或 CRS坐标系不匹配如含EPSG:3857而非EPSG:4326。解决用 VS Code 以 UTF-8 无 BOM 保存 GeoJSON强制转换 CRSprovinces_gdf provinces_gdf.to_crs(EPSG:4326)答辩话术“地理数据坐标系是隐形陷阱。我测试了 3 个公开 GeoJSON 源最终选用gadm.org的 GADM v4.1 中国省界并用geopandas的to_crs统一转为 WGS84。所有坐标转换代码都在geo_utils.py中封装可复用。”6.5 现象pip install geopandas失败报GDAL not found原因geopandas依赖 GDAL、Fiona 等 C 库Windows 下 pip 直接安装极大概率失败。解决唯一可靠方案用 conda 安装conda install -c conda-forge geopandas若必须用 pip先装pip install --only-binaryall gdal仅限特定版本答辩话术“geopandas的环境配置是本项目最大技术门槛。我在requirements_conda.txt中明确要求用 conda 安装并在INSTALL.md中写了 3 行命令conda create -n covid-env python3.9→conda activate covid-env→conda install -c conda-forge geopandas plotly。实测 10 台不同配置电脑全部一次成功。”7. 答辩加分技巧用「数据溯源标签」和「可验证性声明」让老师当场认可专业度课程设计最怕被质疑“是不是抄的”“数据哪来的”。我的做法是在报告首页嵌入两个硬核模块不占篇幅却直击要害7.1 数据溯源标签在每张图表下方用小字标注原始来源与清洗动作# 修改 fig.show() 为带溯源的 HTML 导出 fig.update_layout( annotations[ dict( x0.01, y-0.15, xrefpaper, yrefpaper, text数据来源国家卫健委2020-2022年通报PDF人工校对清洗剔除待确认、修订中日期标准化为ISO格式, showarrowFalse, fontdict(size10, colorgray) ) ], margindict(b150) # 为标注留出底部空间 ) fig.write_html(output/trend_with_source.html)效果导出的 HTML 图表底部自动带灰色小字清晰说明数据出处和关键清洗步骤。老师鼠标悬停就能看到无需翻 PPT。7.2 可验证性声明在README.md中写明「三分钟复现路径」不写“本项目使用 Python 3.9”而写✅三分钟复现验证请老师用任意 Windows/Mac 笔记本操作下载本 ZIP 包解压到桌面打开终端执行cd COVID-19_Report python -m venv env source env/bin/activateMac/Linux或env\Scripts\activate.batWindows执行pip install -r requirements.txt共 7 个包30 秒执行python run_report.py浏览器打开http://localhost:5000查看data/cleaned_china_daily.csv—— 第 1 行是2020-01-23第 100 行是2020-04-30证明清洗链路完整。为什么有效老师不需要看代码只要按这 5 步走通就证明你真做了全流程。我把这个声明放在README.md顶部答辩时直接说“老师您随时可以在我电脑上验证这五步如果任何一步失败我立刻重做。”7.3 一个反直觉但提分的细节在requirements.txt中锁定pandas1.5.3新手总写pandas1.0但 Pandas 2.0 移除了pd.DataFrame.as_matrix()等方法而某些旧版geopandas依赖它。课程设计不是生产环境稳定性新特性。我查了geopandas 0.12.2的兼容矩阵锁死pandas1.5.3和plotly5.15.0确保三年内任何电脑都能跑通。最后说句实在话这个课程设计的价值不在画出多漂亮的图而在于你亲手把一团乱麻的原始数据拧成一根能经受住提问、拷贝、重装考验的结实绳子。我带过 12 届学生凡是把cleaned_china_daily.csv里的每一行都跟原始 PDF 对过、把china-provinces.geojson的每一个坐标点都用 QGIS 验证过的答辩时眼睛是亮的——因为你知道那不是代码是你亲手搭起来的桥。希望帮到你。本文还有配套的精品资源点击获取

Python疫情数据分析实战：从脏数据清洗到交互可视化

相关推荐

PHP7.2字符串长度异常怎么解决

M-LAG原理与实战：跨设备链路聚合如何替代堆叠，实现高可用网络

K-means聚类可视化实战：肘部法则与轮廓系数分析Python代码

更多资讯

Docker Compose安装与实战：unknown command排查指南

Flutter渲染性能揭秘：Impeller引擎与原生协作的工程实践

vue-cli-service不是内部或外部命令？详解PATH与修复方案

Endnote设置GB/T 7714参考文献格式全攻略

单目双目视觉三维重建算法源码解析与环境搭建指南

CORS跨域问题终极指南：原理、配置与避坑技巧

今日更新

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？