基于Python的电影数据可视化分析系统课设全攻略-北京尧图网络

简介这是一份基于Python的电影数据可视化分析系统完整源码与配套文档面向期末大作业或数据可视化课程设计也适合入门爬虫与Flask开发的学习者。项目以豆瓣电影Top250为数据源通过Python爬虫采集并清洗数据用Echarts图表呈现不同类型电影的热度以词频统计和词云图挖掘观众关注焦点并基于Flask搭建可浏览、可查询的展示网站打通数据采集到可视化全流程。压缩包共8个文件、约3.5MB含4个Python脚本爬虫、词云、Flask主程序等、2个资源压缩包、1份说明文档与1个SQLite数据库结构清晰易查。已有1683人学习下载。通过学习可掌握豆瓣数据爬取与解析、数据清洗入库、ECharts可视化配置、词云图生成及Flask站点搭建等实用技能是一份可直接运行参考的高分期末项目方案。1. 这门课设真正在评什么不是代码量而是分析闭环如果你的期末大作业还停留在“从豆瓣爬几百条数据、画两张柱状图、写满一百页没用的截图”这个水平那大概率只能拿到及格分。基于Python的电影数据可视化分析系统这类题目老师真正想看的是你有没有把一个“数据问题”完整走通数据从哪来、怎么洗干净、用什么维度分析、结论怎么呈现。代码写得再花哨分析链条断了就是堆砌。这篇文章我按自己做课程设计带队的经验把这个题目的落地路径拆给你技术栈怎么选、代码怎么写、参数怎么调、哪些地方最容易翻车。新手照着能把整套系统跑起来熟手可以跳过基础直接看第五、六章的踩坑和答辩加分点。2. 系统怎么拆五层架构与技术选型2.1 这类系统该拆成哪几个模块先别急着写代码。我见过太多人打开 Jupyter Notebook 就开始爬爬到一半发现数据结构乱了回头改改完又发现图出不来最后一晚上全在调字体。正确的做法是先把系统想成一条流水线每个环节单独一个文件保证任何一个环节出错都能单独修。常见做法是拆成五层数据采集层负责从数据源拉取原始数据输出统一的中间格式数据清洗层处理缺失值、类型转换、重复记录数据存储层保存为 CSV、SQLite 或直接 DataFrame 传递分析计算层按维度分组统计、排序、计算占比可视化展示层出图、出表格、出交互页面这个设计和你是不是写成 Web 系统没有关系。哪怕你整个项目就是一个 Flask 应用代码内部也要按这个职责拆函数。老师的评分标准里通常有一条叫“程序结构清晰”指的就是这个——不是注释写得多而是函数各自干一件事互不越界。2.2 可视化方案对比为什么选 Pyecharts 而不是 Matplotlib可视化库的选择直接决定你后面一半的踩坑概率。先把课设里常见的几个方案拉出来对比方案交互性上手难度中文资料Web 集成适合场景Matplotlib静态图容易极多一般论文插图、简单直方图Seaborn静态图容易多一般统计图表、分布图Pyecharts交互式中等多好大作业、大屏展示Echarts 原生交互式较难中等好前端功底好的同学Plotly交互式中等较少一般快速生成交互图我的建议很直接交互式图表优先选 Pyecharts原因有三个。第一它生成的是一个 HTML 文件双击就能打开不需要你额外搭前端环境这对期末大作业这种时间紧、要演示的场景极其友好。第二Pyecharts 的图表对象可以轻松集成到 Flask 模板里如果老师要求 Web 化你后面再改的成本很低。第三它的中文文档和网上案例足够多遇到问题搜得到答案。Matplotlib 不是不能用但它更适合做“静态分析过程图”比如评分分布的直方图、散点图。这一类图在论文里放的是“分析依据”不需要交互。而类型分布、评分 Top10 这种信息量大的图交互式 Tooltip 能在答辩时展示更多的数据细节比静态图有说服力得多。2.3 数据源选哪个三种来源的取舍数据层的选择很多时候决定了你爬虫的工程量。常见的电影数据源有这么几类豆瓣电影 Top250是课设里最常用的。数据规模合适250 条字段丰富评分、导演、演员、类型、年份、国家、简介都有而且列表页结构规整爬下来直接就是结构化数据。缺点是反爬偶尔抽风需要控制请求频率。如果你用的是豆瓣数据注意不要去抓用户评论、影评这种页面结构复杂、字段难以对齐没必要。TMDb API是更“正规”的做法。它提供干净的 JSON 数据字段文档齐全没有解析 HTML 的烦恼还附带票房、预算这种国内平台没有的字段分析维度可以做得更深。缺点是国内访问偶尔不稳定需要申请 API Key而且免费配额每天有限。如果你的项目想体现“API 请求 JSON 解析”能力TMDb 是不错的加分项。本地数据集如 Kaggle 上的电影数据集是最稳定的兜底方案。数据已经清洗过你只需要做二次加工。但课设答辩时老师常问一句“你的数据从哪来”如果你回答“下载的”需要能接得住“下载的数据和你自己处理有什么区别”这个问题。我一般建议的做法是爬虫拿豆瓣 Top250 作为主数据源同时预留一个load_local_data()函数能用 CSV 兜底。这个设计在答辩时是加分项——你向老师展示了“系统要能做数据降级”的工程意识而不是只能跑通一条路。3. 数据采集与清洗让原始数据变成可分析的结构3.1 用 requests BeautifulSoup 抓取豆瓣 Top250采集层我用的还是最经典的组合requests发请求BeautifulSoup解析。Scrapy 对这种规模的爬虫是杀鸡用牛刀而且部署和调试成本对课设来说太重。直接上代码import requests from bs4 import BeautifulSoup import pandas as pd import time headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Accept-Language: zh-CN,zh;q0.9, } def fetch_douban_top250(start0): url fhttps://movie.douban.com/top250?start{start} resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) items soup.select(.grid_view .item) rows [] for item in items: title item.select_one(.hd .title).get_text(stripTrue) info item.select_one(.bd p).get_text( , stripTrue) score_text item.select_one(.rating_num).get_text(stripTrue) rows.append({ title: title, info: info, score: float(score_text), }) return rows def crawl_all(): all_rows [] for page in range(10): # 每页25条10页共250条 all_rows.extend(fetch_douban_top250(startpage * 25)) time.sleep(2) # 控制频率避免被封 return pd.DataFrame(all_rows)这段代码的逻辑很简单翻 10 页每页解析出电影名、inf 文本和评分。info字段里包含了导演、主演、年份、国家、类型等所有信息但它们是混在一起的长字符串所以下一步必须做拆分。参数说明time.sleep(2)是这里最关键的一个参数控制每次请求之间的间隔。小于 1 秒很容易触发豆瓣的反爬策略返回 418 或者让你跳转验证页。select_one返回的是第一个匹配项如果页面结构变化返回None你在正式跑之前先打印两行看看解析结果别直接全量跑。3.2 用 Pandas 把 info 字符串拆成规整字段这是整个数据清洗环节最费时间的部分。我的经验是与其花力气写一套“万能解析正则”不如先接受“豆瓣的 info 文本格式大体稳定但有小例外”的现实然后分步处理。上代码import re def parse_meta(df): def split_info(text): parts text.split(主演:) director_actor_part parts[0] # 导演在导演: 之后主演在主演: 之后如果存在的话 director actor m_d re.search(r导演:\s*(.*?)(?:\s主演:|\s*$), director_actor_part) if m_d: director m_d.group(1).strip() if len(parts) 1: actor parts[1].strip() # 年份、国家、类型在最后一段 tail text.split(主演:)[-1].split(\n)[0] if \n in text else text return pd.Series([director, actor, tail]) df[[director, actor, tail]] df[info].apply(split_info) # 从 tail 中提取年份、国家和类型 df[year] df[tail].str.extract(r(\d{4})) df[country] df[tail].str.extract(r(\S?)\s*/\s*(\S?)\s*/\s*(\S?)\s*$)[0] df[genre] df[tail].str.extract(r(\S?)\s*$) return df.drop(columns[info, tail])这段代码做了一件事把豆瓣的原始信息文本拆成导演、主演、年份、国家、类型五个独立字段。参数说明str.extract(r(\d{4}))提取四位数年份匹配 1950 到 2020 年代都够用。country的正则按“斜杠分隔的多个词”提取因为豆瓣的国家字段可能是“美国”也可能是“美国 / 中国大陆”取第一个国家做为简化。genre同理取最后一个斜杠后面的词。这个清洗逻辑其实没法做到 100% 正确比如某些电影没有主演字段、某些电影年份后面直接跟类型没有国家。我们的目标是让 95% 的数据规整就能进入分析。对于没清洗干净的行扔掉或者标注成Unknown比强行修正则更划算。清洗完记得检查一下print(df.isnull().sum()) print(df.dtypes)year列如果出现大量NaN大概率是info文本里的年份格式不是四位数字如“2017-12-15”这种日期格式混入了年份位置。这时候需要回头调整正则表达式。4. 可视化分析模块让图表替你说结论4.1 评分分布直方图第一张图要暴露数据形态数据清洗完成之后的第一个分析维度一定是评分分布。它最直观地告诉你看这批数据的整体形态——是否偏态分布、有没有离群值、Top250 是否名副其实。import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False fig, ax plt.subplots(figsize(10, 5)) ax.hist(df[score], bins20, range(7.0, 10.0), color#4C72B0, edgecolorwhite) ax.set_xlabel(评分) ax.set_ylabel(电影数量) ax.set_title(豆瓣Top250 评分分布直方图) plt.tight_layout() plt.show()逻辑说明hist接收评分列bins20把 7 到 10 的评分区间切成 20 个桶每个桶的高度就是该分数段的电影数量。参数说明range(7.0, 10.0)这个参数容易被忽略。不设置的话 Matplotlib 会从最小值画到最大值但豆瓣 Top250 的最低分也在 8 分以上默认区间会把空白的低分区画出来图就没那么紧凑。color和edgecolor管柱子的填充色和描边色用深蓝色加白边是排版上比较专业的配色。这张图在答辩时要说出一句话“Top250 的评分高度集中在 8.5 到 9.2 之间说明这个榜单的筛选标准本身就已经设置了一个很高的门槛。”这就是分析结论不是“我画了一张直方图”。4.2 类型 Top10 条形图用 Pyecharts 出交互图类型字段是清洗阶段最“脏”的字段因为一部电影可能同时属于“剧情 / 爱情 / 历史”多个类型。分析前先分裂再计数from pyecharts.charts import Bar from pyecharts import options as opts genre_counts df[genre].str.split(/, expandTrue).stack().value_counts().head(10) bar ( Bar() .add_xaxis(genre_counts.index.tolist()) .add_yaxis(电影数量, genre_counts.values.tolist()) .set_global_opts( title_optsopts.TitleOpts(title豆瓣Top250 电影类型 Top10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate30)), yaxis_optsopts.AxisOpts(name数量), ) ) bar.render(genre_top10.html)逻辑说明df[genre].str.split(/, expandTrue)将类型字段拆成多列.stack()把它们合并成一列再进行值计数。这样一部“剧情 / 爱情”电影会同时给剧情和爱情各计数一次。这个逻辑要在文档里写清楚——你统计的是“类型出现的次数”而不是“电影的数量”。参数说明axislabel_optsopts.LabelOpts(rotate30)是 Pyecharts 里让 X 轴文字旋转 30 度的设置。类型名称动辄七八个字如果不旋转会互相遮挡这条如果不写生成的图往往是没法放进论文的。bar.render()输出 HTML 文件双击即开。这一步做完你会在答辩时被问到“为什么剧情片数量远高于其他类型”——正确答案是“剧情元素是绝大多数类型电影的基础元素这是类型分裂统计下的自然结果”提前准备好。4.3 年份与评分趋势分析折线图展示时间维度时间维度分析能展示“电影行业的变化趋势”。把年份作为 X 轴平均评分作为 Y 轴看看各年代的电影平均分涨跌。import pandas as pd df[year] pd.to_numeric(df[year], errorscoerce) year_group df.groupby(year)[score].agg([count, mean]).reset_index() year_group year_group[year_group[count] 3] # 过滤样本量过少的年份 line ( Line() .add_xaxis(year_group[year].astype(str).tolist()) .add_yaxis( 平均评分, year_group[mean].round(2).tolist(), is_smoothTrue, markpoint_optsopts.MarkPointOpts( data[opts.MarkPointItem(type_max), opts.MarkPointItem(type_min)] ), ) .set_global_opts( title_optsopts.TitleOpts(title豆瓣Top250 各年份电影平均评分趋势), xaxis_optsopts.AxisOpts(name年份), yaxis_optsopts.AxisOpts(name平均评分, min_8.0), ) ) line.render(year_trend.html)逻辑说明groupby(year)[score].agg([count, mean])一次性算出每个年份的电影数量和平均分。只统计年份是字符串时排序和显示都会有麻烦所以开头先pd.to_numeric转数值。参数说明markpoint_opts在平均分曲线的最高点和最低点打上标记答辩时直接点这两个点讲“为什么这一年的评分特别高/低”会让老师说你对数据有感知。min_8.0把 Y 轴起点设为 8避免折线图因为起点是 0 导致波动看起来过大。这个“让图表更诚实”的处理是很多课设里没有的细节。4.4 国家与词云用 WordCloud 展示地域分布最后一个常用分析维度是电影产地分布。词云可视化在视觉上最“唬人”但它的分析价值其实有限——不能精确表示数值。我会建议把词云当作展示页的装饰性图表同时保留一张精确的条形图做真正的分析。from pyecharts.charts import WordCloud country_counts df[country].value_counts() wc ( WordCloud() .add(, [list(item) for item in country_counts.items()], word_size_range[20, 100]) .set_global_opts(title_optsopts.TitleOpts(title豆瓣Top250 电影制作国家/地区分布)) ) wc.render(country_wordcloud.html)逻辑说明value_counts()统计每个国家出现的频次转成[国家, 频次]的列表对后传给 Pyecharts 的add()方法。参数说明word_size_range[20, 100]控制词云里字号的最小值和最大值词频越高字越大。这个参数要按数据规模调整——如果你分析的是 1000 条数据字号上限 100 会让高频词占满整个画布如果是 250 条数据默认值正好。需要提醒的是词云里的国家名会混入上一节清洗不干净的数据比如“/这种残留分隔符。画图前先执行country_counts.index[country_counts.index.str.len() 2]看看有没有脏值有就先drop()。这四个图表基本覆盖了课设里“数据分析”的全部维度分布、排名、趋势、占比。剩下的事情就是把它们串成一个完整的系统。5. 避坑手册五个最常见的翻车现场5.1 pyecharts 版本不统一导致的 API 报错现象按网上的教程写from pyecharts import Bar报错ImportError或方法参数不识别。原因Pyecharts 有 0.5.x 和 1.x 两个大版本API 完全不同。0.5.x 用add()传字符串配置1.x 改成add_xaxis()加opts系列配置函数。网上大量旧教程还停留在 0.5.x你照着抄就会翻车。解决安装时直接指定新版本pip install pyecharts1.9.1然后在代码里检查一下import pyecharts print(pyecharts.__version__)如果版本不是 1.x卸载重装。这是 pyecharts 系列最大的坑没有之一。5.2 图表里中文全部变成方块现象Pyecharts 渲染出来中文正常但 Matplotlib 画的直方图、折线图中文全是方块。原因Matplotlib 默认字体不含中文字符。Windows 上它用的是默认的 DejaVu Sans里面没有 CJK 字形。解决在代码开头加三行设置中文字体import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False如果你在 Mac 上跑的是这行代码把字体名改成[PingFang HK, Arial Unicode MS]。这个差异在你换电脑跑的时候会突然出现属于最常见的“本地好好的换台机器全乱”的问题。5.3 Flask 开启 debug 模式后爬虫重复执行两遍现象启动 Flask 应用触发一次爬虫结果数据库里插入了两倍的数据。原因Flask 的debugTrue会启动一个 reloader 监视代码变更。第一次启动时父进程加载一次子进程加载一次你的爬虫写在模块顶部或if __name__ __main__之外就被执行了两次。解决把爬虫调用放在if __name__ __main__里面或者在启动时关闭 reloader# 调试时用这个避免重载 app.run(debugTrue, use_reloaderFalse)5.4 Pandas 的 inplace 参数为什么总报警告现象df.dropna(inplaceTrue)时出现FutureWarning网上有教程说这么做没问题也有说别用的。原因Pandas 官方准备以后废弃inplaceTrue所以所有带这个参数的函数开始发弃用警告。它的性能收益几乎为零只会让代码更难读。解决从现在开始养成不用inplace的习惯df df.dropna() df df.drop(columns[info])思路不变只是把结果重新赋值给原变量。答辩时老师如果问“你为什么不用 inplace”你回一句“新版 Pandas 推荐用链式赋值避免 inplace 带来的视图拷贝问题”这一分就拿到了。5.5 爬虫 418 或被重定向到登录页现象爬着爬着resp.status_code变成 418或者返回的 HTML 里没有电影条目。原因请求频率过高或 headers 被识别。requests默认的 User-Agent 是python-requests/x.x.x很容易被识别为爬虫。解决完整配置请求头并增加随机延时import random import time time.sleep(random.uniform(1.5, 3.5))random.uniform让延时在一个范围内随机抖动比固定延时更难触发反爬策略。如果这样还会被拦检查一下代码里有没有遗漏headers的传递。6. 收尾技巧把图表串进 Web 系统让你的演示更好收场如果时间允许把上面的图表统一集成到一个 Flask 应用里做成一个本地可视化系统。这个步骤不用写复杂逻辑核心只有一件事用render()生成 HTML再用 Flask 把它们包裹进一个统一的布局里。from flask import Flask, render_template import os app Flask(__name__) CHART_FILES [ genre_top10.html, year_trend.html, country_wordcloud.html, score_distribution.html, ] app.route(/) def index(): return render_template(index.html, chartsCHART_FILES) if __name__ __main__: app.run(debugFalse, port8000)index.html模板里循环charts列表用iframe把每个图表 HTML 嵌入同一个页面。模板里这样写{% for chart in charts %} iframe src{{ url_for(static, filenamecharts/ chart) }} stylewidth:100%; height:450px; border:none;/iframe {% endfor %}参数说明port8000避开 Flask 默认的 5000 端口——不少机器上 5000 端口可能被 AirPlay 或其他进程占用。如果遇到Address already in use改端口就行。图表文件统一放在static/charts/目录下让 Flask 以静态文件的方式提供服务。这样整个项目就是“一个 Flask 入口一个模板文件若干图表 HTML”结构极清晰老师打开浏览器就能看不需要手动去文件夹里一个个双击图表。答辩演示时我常用的做法是先按时间线打开三张图——直方图讲榜单的评分门槛类型图讲内容分布年份趋势讲时间变化。每张图控制在 30 秒内讲完结论立刻切换。不用把整个系统从爬虫开始讲老师一般只关心两个问题代码是不是你写的图表能不能说明问题。把这两点用数据回答好这个项目的分数就差不了。这个方向做下来你收获最大的不是那几行 pandas 调用而是你真正理解了“一份脏数据从收集到讲故事的全过程”。这个过程到了找实习或进项目组时会非常值钱——绝大多数刚毕业的人只会跑教程里的干净数据没见过真的乱数据长什么样。希望这篇笔记帮你在期末这条路上少走几个弯路也祝你能从数据里看到一些别人看不到的东西。本文还有配套的精品资源点击获取

基于Python的电影数据可视化分析系统课设全攻略

相关推荐

仅用十几行代码实现 OpenManus：Spring AI Alibaba Graph 快速预览与 TaoToken 配置骨架

Diem 创世初始化深入解析：Genesis 模块的 Move 入口与链上状态引导流程

SciPy 并行执行支持完全指南：多线程、进程池、BLAS 线程控制与自由线程 Python

更多资讯

EMQX Trace API 配置查看与更新：`/tracing` 接口实现与实战解析

Java Web会议室管理系统：Servlet+JSP+JDBC实战指南

Java面向对象三大特性：封装、继承、多态详解与面试实战

Prisma 服务器升级指南：从通用准备流程到 1.7/1.8 版本迁移实战

MySQL索引原理与调优实战：从B+树到慢查询优化

文献下载源码拆解：5道高频面试题助你搞定项目实战

今日更新

2k显示屏性能优化踩坑：版本升级后API全变了，这份源码解析救了我

3步搞定美眉图实战项目，告别官方文档抓不住重点

3步搞定黄金大劫案项目搭建从入门到精通

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？