博主介绍✌全网粉丝20W,CSDN全栈领域优质创作者博客之星、掘金/华为云/阿里云等平台优质作者,计算机毕设实战导师。目前专注于大学生项目实战开发,讲解,毕业答疑辅导欢迎高校老师/同行前辈交流合作✌主要服务内容免费功能设计、选题定题、开题报告、任务书、程序开发、论文编写和辅导、论文降重、程序讲解、答辩辅导等欢迎咨询~ 精彩专栏 推荐订阅计算机毕业设计精品项目案例持续更新值得收藏✅2026-2027年计算机毕业设计选题推荐计算机专业毕业设计题目大全✅全网最全计算机毕业设计选题推荐计算机毕设选题指导及避坑指南✅文末获取源码数据库文档感兴趣的可以先收藏起来还有大家在毕设选题项目以及论文编写等相关问题都可以和学长沟通希望帮助更多的人文章目录一.项目概述二.开发技术栈2.1 基础环境2.2 核心技术架构三.系统设计3.1数据预处理3.1.1 数据采集3.1.2 数据采集实现3.1.3 数据处理3.1.4 数据存储3.1.5 数据分析四.部分效果展示4.1用户功能实现效果4.2管理员功能实现效果4.3可视化看板实现效果五.部分代码实现5.1 项目开发核心技术难点说明5.2 基于 Scrapy Requests 实现数据采集核心代码源码及文档获取一.项目概述在影视内容供给持续增长与用户评价高速累积的背景下面向评价数据开展采集、分析与可视化展示已成为提升影视信息管理效率与舆情研判能力的重要途径。本文围绕基于Python的影视评价数据采集分析与可视化系统构建从数据获取、处理、存储到展示的一体化流程以支撑电影信息、评论信息、资讯与论坛等多源数据的统一管理。系统以Python为核心开发语言结合Web开发框架实现前台用户与后台管理员两类使用场景。前台提供影视资讯、电影信息、评论信息、影视交流论坛及个人中心等功能后台围绕用户、资讯分类、影视资讯、电影信息、评论信息、情感分析与舆情预测等模块进行集中管理并通过看板呈现导演评分、主演评分、评论区域占比、电影热度与时长等关键指标。二.开发技术栈2.1 基础环境开发语言后端 Python前端 Vue数据库MySQL 5.7保障数据存储与版本兼容性项目构建工具Python pip、前端 npm开发工具PyCharm、VS Code、Navicat2.2 核心技术架构前端框架采用 Vue 开发页面实现交互展示与功能操作。数据采集层基于 Requests、Scrapy 编写爬虫自动化采集网络数据。数据处理层依托 Python、Pandas、NumPy 完成数据清洗、运算与规整。服务应用层后端使用 Flask 搭建 Web 服务提供接口支撑前端调用。数据存储层采用 MySQL 5.7 持久化存储采集、加工后的业务数据。三.系统设计3.1数据预处理3.1.1 数据采集对于影视评价数据采集分析与可视化系统而言数据来源与数据质量直接影响后续统计与展示效果。系统所需数据主要涉及电影信息、评论信息、资讯内容与论坛内容四类实体其中电影信息需要覆盖电影名称、评分、热度、片长、上映日期、导演、主演、标签、简介与图片等字段评论信息需要覆盖评论人、评论时间、评论地、点赞数与评论内容等字段资讯内容需要覆盖资讯标题、资讯分类、封面、发布时间、简介与正文内容等字段论坛内容需要覆盖帖子标题、帖子内容、用户标识、状态以及匿名与置顶等字段。上述数据在采集阶段需尽量保持字段语义一致减少缺失与重复以便在入库后形成稳定的检索与统计口径。3.1.2 数据采集实现在明确采集对象与字段范围后系统围绕电影信息与评论信息开展结构化抽取并将采集到的条目按字段映射写入对应数据表。采集实现强调对关键字段的稳定提取例如对电影名称、评分、热度与片长等字段保持统一格式对评论时间与创建时间等时间字段进行规范化对长文本字段如简介与评论内容进行长度与空值校验。采集到的原始数据样例展示如图所示3.1.3 数据处理通过采集获得的数据可能存在重复条目、字段缺失或格式不一致等问题直接用于展示会影响查询与统计的准确性因此需要在入库前后进行必要的数据处理。系统在数据处理阶段主要围绕三类问题开展其一字段格式统一例如将时间字段统一为可排序与可筛选的格式将评分、热度与点赞数等数值字段进行类型转换其二缺失值处理对允许为空的字段进行合理填充或保持空值并在展示层进行兼容其三重复与异常处理对重复采集的电影名称与评论记录进行去重对明显异常的记录进行过滤或标记。通过上述处理系统能够形成更稳定的字段口径为后续的统计展示与分析模块提供可靠输入。3.1.4 数据存储完成清洗与预处理后的数据需要采用稳定的存储结构进行持久化管理。系统以关系型数据管理系统作为核心数据服务将电影信息、评论信息、资讯分类、影视资讯、论坛内容、收藏记录、用户信息以及分析记录与预测记录分别组织为数据表并以主键字段完成唯一标识。对于长文本字段如简介、资讯内容、评论内容与帖子内容等采用长文本类型进行存储以保证内容完整性对于点击次数、收藏数、评论数、点赞数等统计字段采用数值类型并设置默认值以保证更新逻辑稳定。通过这种以数据表为核心的组织方式系统能够在查询检索、列表展示与统计汇总等场景下保持较高的数据一致性与可维护性。3.1.5 数据分析数据存储完成后系统围绕管理侧关注的指标开展统计与可视化设计。看板指标包括导演评分、主演评分、评论电影占比、电影信息概览、情感分析统计、电影时长分布、电影热度分布以及评论区域占比等。系统在统计时以电影名称为核心关联键将评分、热度、片长与评论记录进行关联汇总在区域统计中以评论地字段进行分组在情感分析统计中以分析结果字段进行聚合在舆情预测展示中以预测结果字段表达趋势判断。通过将这些统计结果以图表方式呈现系统能够将分散的字段信息转化为直观的管理视图从而提升信息研判与内容维护的效率。四.部分效果展示4.1用户功能实现效果用户在登录页面输入账号与密码完成校验后进入系统首页登录成功后可关联本人收藏记录与发布记录并以用户标识绑定后续评论人与论坛用户名数据。 用户登录界面图如下所示。用户进入首页后浏览电影列表并查看电影名称、图片、标签、导演、主演、评分与热度等信息点击条目可触发点击次数与最近点击时间更新便于形成热度统计。用户首页界面图如图所示。用户进入影视资讯后按资讯分类查看资讯标题、封面与发布时间点击可阅读资讯内容并查看简介信息系统同步维护资讯的评论数与收藏数等统计字段变化。影视资讯功能界面图如图所示。用户在个人中心查看我的收藏与我的发布等内容可管理收藏记录中的名称与图片展示并维护论坛帖子标题与内容同时完成密码修改以保障账号安全。个人中心功能界面图如图所示。4.2管理员功能实现效果管理员在登录页面输入用户名与密码完成校验后进入后台系统依据角色进入管理端并加载头像信息后续操作将写入对应模块的创建时间与维护记录。如图所示。管理员进入后台首页查看导演评分、主演评分、电影热度、电影时长与评论区域占比等看板指标由评分、热度、片长与评论地等字段聚合生成支持快速总览。管理员在影视资讯管理中维护资讯标题、资讯分类、封面、发布时间、简介与正文内容支持查询、新增与修改操作保存后更新对应资讯记录并影响前台展示与统计。如图所示。管理员在电影信息管理中维护电影名称、图片、标签、导演、主演、评分、热度、片长与上映日期等字段支持列表检索与编辑保存结果用于前台列表展示与看板统计。如图所示。管理员在评论信息管理中按电影名称与评论人检索评论记录查看评论内容、评论时间、评论地与点赞数等字段支持维护与核验数据一致性并为分析模块提供可靠输入。如图所示。管理员在情感分析模块中基于评论内容生成分析结果并形成记录可按电影名称与评论人查询结果分析结果字段用于情感统计展示并支撑后续趋势研判。如图所示。管理员在舆情预测模块中查看基于历史分析结果生成的预测结果记录支持按电影名称筛选与对比预测结果字段用于表达趋势判断并在看板中联动展示。如图所示。管理员在影视交流论坛管理中维护帖子标题与帖子内容查看用户名与头像并管理状态、置顶与匿名标记保存后影响前台论坛展示秩序并降低无效内容干扰。如图所示。4.3可视化看板实现效果系统提供可视化看板用于对影视数据进行多维展示通过统一的统计口径输出图形化结果使用户与管理者能够在同一视角下理解数据分布与差异。看板整体展示界面如图所示。如图所示。五.部分代码实现5.1 项目开发核心技术难点说明难点 1影视爬虫数据采集与清洗处理基于 Scrapy 实现多页面分层爬取兼容多种 URL 格式与运行环境完成网页 HTML 标签过滤、空值容错同时适配多类数据库并做数据表前置校验保障采集数据规范可用。难点2影视多维度数据可视化大屏构建基于爬虫采集的海量影视与用户评价数据对影视评分、热度、评论情感、发布时间、类型标签等多维度数据进行聚合统计。结合 Vue 可视化组件动态渲染图表解决评价数据杂乱、维度繁杂、实时展示困难的问题。5.2 基于 Scrapy Requests 实现数据采集核心代码# 导入所需第三方库与模块importreimportrandomimportplatformimportjsonimportosimporttimeimportemojiimportrequestsimportpymysqlimportpymssqlfromurllib.parseimporturlparseimportscrapy# 导入当前爬虫项目的数据实体类from..itemsimportxiangmuItemclassXiangmuSpider(scrapy.Spider): 数据爬虫 功能爬取列表页房源基础信息再进入详情页抓取作者等信息 支持 MySQL / SQL Server 双数据库适配、数据表存在性校验、URL 补全、HTML 标签过滤 # 爬虫唯一标识名称启动爬虫命令scrapy crawl xiangmuSpidernamexiangmuSpider# 多起始地址用分号 ; 分隔自动拆分spider_urlhttps://url网址start_urlsspider_url.split(;)# 全局变量协议头、域名用于补全相对路径URLprotocolhostnamedef__init__(self,*args,**kwargs): 爬虫初始化构造方法 super().__init__(*args,**kwargs)defparse(self,response): 列表页解析入口 1. 解析域名与协议用于拼接完整URL 2. 数据库校验若数据表已存在则直接终止本次爬取 3. 遍历列表数据提取基础字段并跳转详情页 :param response: 列表页响应对象 :return: 详情页请求对象 # 解析起始URL拆分协议、主机名url_parse_resulturlparse(self.spider_url)self.protocolurl_parse_result.scheme self.hostnameurl_parse_result.netloc# 根据操作系统判断执行逻辑sys_platformplatform.system().lower()ifsys_platformin(linux,windows):# 建立数据库连接db_connself.db_connect()db_cursordb_conn.cursor()# 校验目标数据表是否已存在ifself.table_exists(db_cursor,xiangmu)1:# 表已存在关闭数据库资源执行临时数据逻辑并终止爬取db_cursor.close()db_conn.close()self.temp_data()return# 定位列表页所有房源节点item_listresponse.css(ul.subject-list li.subject-item)# 遍历每一条房源数据fornodeinitem_list:# 实例化Item对象用于封装爬取字段itemxiangmuItem()# 1. 抓取来源链接source_urlnode.css(div.pic a.nbg::attr(href)).extract_first()# 去除HTML标签与空白字符item[laiyuan]self.remove_html(source_url)# 补全相对URL为完整可访问地址item[laiyuan]self.complete_url(item[laiyuan])# 2. 抓取封面图地址cover_imgnode.css(div.pic a.nbg img::attr(src)).extract_first()item[fengmian]self.remove_html(cover_img)# 3. 抓取房源简短名称/标题titlenode.css(div.info h2 a::attr(title)).extract_first()item[xiaoshuoming]self.remove_html(title)# 详情页URL处理detail_urlnode.css(div.pic a.nbg::attr(href)).extract_first()detail_urlself.complete_url(detail_url)# 同步更新来源地址为详情页地址item[laiyuan]detail_url# 发起详情页请求将当前已抓取字段通过meta传递到详情解析函数yieldscrapy.Request(urldetail_url,meta{fields:item},callbackself.detail_parse,dont_filterTrue# 关闭去重保证正常抓取)defdetail_parse(self,response): 详情页解析函数 抓取作者信息整合所有字段后交付Pipeline入库 :param response: 详情页响应对象 :return: 封装完成的Item数据 # 接收列表页传递过来的Item数据itemresponse.meta[fields]try:# 抓取作者信息author_textresponse.css(div#info span a::text).extract_first()# 清洗HTML、空格、特殊符号item[zuozhe]self.remove_html(author_text)exceptExceptionase:# 异常捕获作者字段抓取失败则置空不中断整体爬取self.logger.warning(f作者信息抓取异常:{str(e)})item[zuozhe]# 将完整Item交给Scrapy管道进行数据持久化yielditemdefremove_html(self,html_str): 工具方法清除HTML标签、首尾空白字符 :param html_str: 原始带标签字符串 :return: 纯文本内容 ifnothtml_str:return# 正则匹配所有HTML标签并替换为空html_patternre.compile(r[^],re.S)clean_texthtml_pattern.sub(,html_str)# 去除首尾空格、换行returnclean_text.strip()defcomplete_url(self,raw_url): 工具方法统一补全相对URL为完整URL修复原代码重复拼接逻辑 :param raw_url: 原始相对链接 :return: 完整HTTP/HTTPS链接 ifnotraw_url:return# 已为完整链接直接返回ifraw_url.startswith((http://,https://)):returnraw_url# 协议相对链接 //xxx.comifraw_url.startswith(//):returnf{self.protocol}:{raw_url}# 站点内相对链接 /xxx/xxxifraw_url.startswith(/):returnf{self.protocol}://{self.hostname}{raw_url}# 其他情况直接返回原字符串returnraw_urldefdb_connect(self): 数据库连接方法 读取Scrapy配置文件参数支持 MySQL / SQL Server 两种数据库 :return: 数据库连接对象 # 读取配置文件中的数据库类型、地址、端口、账号、密码db_typeself.settings.get(TYPE,mysql)hostself.settings.get(HOST,localhost)portint(self.settings.get(PORT,3306))userself.settings.get(USER,root)passwordself.settings.get(PASSWORD,123456)# 优先读取实例传参的数据库名无则读取配置文件try:db_nameself.databaseNameexceptAttributeError:db_nameself.settings.get(DATABASE,)# 根据数据库类型创建连接ifdb_typemysql:connpymysql.connect(hosthost,portport,dbdb_name,useruser,passwdpassword,charsetutf8)else:connpymssql.connect(hosthost,useruser,passwordpassword,databasedb_name)returnconndeftable_exists(self,cursor,table_name): 工具方法判断数据库中指定数据表是否存在 :param cursor: 数据库游标对象 :param table_name: 待校验表名 :return: 1表存在 0表不存在 # 查询当前库下所有数据表cursor.execute(SHOW TABLES;)# 提取所有表名all_tablescursor.fetchall()table_listre.findall(r(.*?),str(all_tables))table_list[t.replace(,)fortintable_list]return1iftable_nameintable_listelse0deftemp_data(self): 临时数据处理逻辑原代码预留方法业务自定义 数据表已存在时执行此方法可自行扩展逻辑 self.logger.info(目标数据表已存在跳过新一轮爬取执行临时数据逻辑)源码及文档获取文章下方名片联系我即可~大家点赞、收藏、关注、评论啦 、查看获取联系方式精彩专栏推荐订阅在下方专栏最新计算机毕业设计选题篇-选题推荐小程序毕业设计精品项目案例-200套Java毕业设计精品项目案例-200套Python毕业设计精品项目案例-200套大数据毕业设计精品项目案例-200套如果大家有任何疑虑欢迎在下方位置详细交流。
博主介绍✌全网粉丝20W,CSDN全栈领域优质创作者博客之星、掘金/华为云/阿里云等平台优质作者,计算机毕设实战导师。目前专注于大学生项目实战开发,讲解,毕业答疑辅导欢迎高校老师/同行前辈交流合作✌主要服务内容免费功能设计、选题定题、开题报告、任务书、程序开发、论文编写和辅导、论文降重、程序讲解、答辩辅导等欢迎咨询~ 精彩专栏 推荐订阅计算机毕业设计精品项目案例持续更新值得收藏✅2026-2027年计算机毕业设计选题推荐计算机专业毕业设计题目大全✅全网最全计算机毕业设计选题推荐计算机毕设选题指导及避坑指南✅文末获取源码数据库文档感兴趣的可以先收藏起来还有大家在毕设选题项目以及论文编写等相关问题都可以和学长沟通希望帮助更多的人文章目录一.项目概述二.开发技术栈2.1 基础环境2.2 核心技术架构三.系统设计3.1数据预处理3.1.1 数据采集3.1.2 数据采集实现3.1.3 数据处理3.1.4 数据存储3.1.5 数据分析四.部分效果展示4.1用户功能实现效果4.2管理员功能实现效果4.3可视化看板实现效果五.部分代码实现5.1 项目开发核心技术难点说明5.2 基于 Scrapy Requests 实现数据采集核心代码源码及文档获取一.项目概述在影视内容供给持续增长与用户评价高速累积的背景下面向评价数据开展采集、分析与可视化展示已成为提升影视信息管理效率与舆情研判能力的重要途径。本文围绕基于Python的影视评价数据采集分析与可视化系统构建从数据获取、处理、存储到展示的一体化流程以支撑电影信息、评论信息、资讯与论坛等多源数据的统一管理。系统以Python为核心开发语言结合Web开发框架实现前台用户与后台管理员两类使用场景。前台提供影视资讯、电影信息、评论信息、影视交流论坛及个人中心等功能后台围绕用户、资讯分类、影视资讯、电影信息、评论信息、情感分析与舆情预测等模块进行集中管理并通过看板呈现导演评分、主演评分、评论区域占比、电影热度与时长等关键指标。二.开发技术栈2.1 基础环境开发语言后端 Python前端 Vue数据库MySQL 5.7保障数据存储与版本兼容性项目构建工具Python pip、前端 npm开发工具PyCharm、VS Code、Navicat2.2 核心技术架构前端框架采用 Vue 开发页面实现交互展示与功能操作。数据采集层基于 Requests、Scrapy 编写爬虫自动化采集网络数据。数据处理层依托 Python、Pandas、NumPy 完成数据清洗、运算与规整。服务应用层后端使用 Flask 搭建 Web 服务提供接口支撑前端调用。数据存储层采用 MySQL 5.7 持久化存储采集、加工后的业务数据。三.系统设计3.1数据预处理3.1.1 数据采集对于影视评价数据采集分析与可视化系统而言数据来源与数据质量直接影响后续统计与展示效果。系统所需数据主要涉及电影信息、评论信息、资讯内容与论坛内容四类实体其中电影信息需要覆盖电影名称、评分、热度、片长、上映日期、导演、主演、标签、简介与图片等字段评论信息需要覆盖评论人、评论时间、评论地、点赞数与评论内容等字段资讯内容需要覆盖资讯标题、资讯分类、封面、发布时间、简介与正文内容等字段论坛内容需要覆盖帖子标题、帖子内容、用户标识、状态以及匿名与置顶等字段。上述数据在采集阶段需尽量保持字段语义一致减少缺失与重复以便在入库后形成稳定的检索与统计口径。3.1.2 数据采集实现在明确采集对象与字段范围后系统围绕电影信息与评论信息开展结构化抽取并将采集到的条目按字段映射写入对应数据表。采集实现强调对关键字段的稳定提取例如对电影名称、评分、热度与片长等字段保持统一格式对评论时间与创建时间等时间字段进行规范化对长文本字段如简介与评论内容进行长度与空值校验。采集到的原始数据样例展示如图所示3.1.3 数据处理通过采集获得的数据可能存在重复条目、字段缺失或格式不一致等问题直接用于展示会影响查询与统计的准确性因此需要在入库前后进行必要的数据处理。系统在数据处理阶段主要围绕三类问题开展其一字段格式统一例如将时间字段统一为可排序与可筛选的格式将评分、热度与点赞数等数值字段进行类型转换其二缺失值处理对允许为空的字段进行合理填充或保持空值并在展示层进行兼容其三重复与异常处理对重复采集的电影名称与评论记录进行去重对明显异常的记录进行过滤或标记。通过上述处理系统能够形成更稳定的字段口径为后续的统计展示与分析模块提供可靠输入。3.1.4 数据存储完成清洗与预处理后的数据需要采用稳定的存储结构进行持久化管理。系统以关系型数据管理系统作为核心数据服务将电影信息、评论信息、资讯分类、影视资讯、论坛内容、收藏记录、用户信息以及分析记录与预测记录分别组织为数据表并以主键字段完成唯一标识。对于长文本字段如简介、资讯内容、评论内容与帖子内容等采用长文本类型进行存储以保证内容完整性对于点击次数、收藏数、评论数、点赞数等统计字段采用数值类型并设置默认值以保证更新逻辑稳定。通过这种以数据表为核心的组织方式系统能够在查询检索、列表展示与统计汇总等场景下保持较高的数据一致性与可维护性。3.1.5 数据分析数据存储完成后系统围绕管理侧关注的指标开展统计与可视化设计。看板指标包括导演评分、主演评分、评论电影占比、电影信息概览、情感分析统计、电影时长分布、电影热度分布以及评论区域占比等。系统在统计时以电影名称为核心关联键将评分、热度、片长与评论记录进行关联汇总在区域统计中以评论地字段进行分组在情感分析统计中以分析结果字段进行聚合在舆情预测展示中以预测结果字段表达趋势判断。通过将这些统计结果以图表方式呈现系统能够将分散的字段信息转化为直观的管理视图从而提升信息研判与内容维护的效率。四.部分效果展示4.1用户功能实现效果用户在登录页面输入账号与密码完成校验后进入系统首页登录成功后可关联本人收藏记录与发布记录并以用户标识绑定后续评论人与论坛用户名数据。 用户登录界面图如下所示。用户进入首页后浏览电影列表并查看电影名称、图片、标签、导演、主演、评分与热度等信息点击条目可触发点击次数与最近点击时间更新便于形成热度统计。用户首页界面图如图所示。用户进入影视资讯后按资讯分类查看资讯标题、封面与发布时间点击可阅读资讯内容并查看简介信息系统同步维护资讯的评论数与收藏数等统计字段变化。影视资讯功能界面图如图所示。用户在个人中心查看我的收藏与我的发布等内容可管理收藏记录中的名称与图片展示并维护论坛帖子标题与内容同时完成密码修改以保障账号安全。个人中心功能界面图如图所示。4.2管理员功能实现效果管理员在登录页面输入用户名与密码完成校验后进入后台系统依据角色进入管理端并加载头像信息后续操作将写入对应模块的创建时间与维护记录。如图所示。管理员进入后台首页查看导演评分、主演评分、电影热度、电影时长与评论区域占比等看板指标由评分、热度、片长与评论地等字段聚合生成支持快速总览。管理员在影视资讯管理中维护资讯标题、资讯分类、封面、发布时间、简介与正文内容支持查询、新增与修改操作保存后更新对应资讯记录并影响前台展示与统计。如图所示。管理员在电影信息管理中维护电影名称、图片、标签、导演、主演、评分、热度、片长与上映日期等字段支持列表检索与编辑保存结果用于前台列表展示与看板统计。如图所示。管理员在评论信息管理中按电影名称与评论人检索评论记录查看评论内容、评论时间、评论地与点赞数等字段支持维护与核验数据一致性并为分析模块提供可靠输入。如图所示。管理员在情感分析模块中基于评论内容生成分析结果并形成记录可按电影名称与评论人查询结果分析结果字段用于情感统计展示并支撑后续趋势研判。如图所示。管理员在舆情预测模块中查看基于历史分析结果生成的预测结果记录支持按电影名称筛选与对比预测结果字段用于表达趋势判断并在看板中联动展示。如图所示。管理员在影视交流论坛管理中维护帖子标题与帖子内容查看用户名与头像并管理状态、置顶与匿名标记保存后影响前台论坛展示秩序并降低无效内容干扰。如图所示。4.3可视化看板实现效果系统提供可视化看板用于对影视数据进行多维展示通过统一的统计口径输出图形化结果使用户与管理者能够在同一视角下理解数据分布与差异。看板整体展示界面如图所示。如图所示。五.部分代码实现5.1 项目开发核心技术难点说明难点 1影视爬虫数据采集与清洗处理基于 Scrapy 实现多页面分层爬取兼容多种 URL 格式与运行环境完成网页 HTML 标签过滤、空值容错同时适配多类数据库并做数据表前置校验保障采集数据规范可用。难点2影视多维度数据可视化大屏构建基于爬虫采集的海量影视与用户评价数据对影视评分、热度、评论情感、发布时间、类型标签等多维度数据进行聚合统计。结合 Vue 可视化组件动态渲染图表解决评价数据杂乱、维度繁杂、实时展示困难的问题。5.2 基于 Scrapy Requests 实现数据采集核心代码# 导入所需第三方库与模块importreimportrandomimportplatformimportjsonimportosimporttimeimportemojiimportrequestsimportpymysqlimportpymssqlfromurllib.parseimporturlparseimportscrapy# 导入当前爬虫项目的数据实体类from..itemsimportxiangmuItemclassXiangmuSpider(scrapy.Spider): 数据爬虫 功能爬取列表页房源基础信息再进入详情页抓取作者等信息 支持 MySQL / SQL Server 双数据库适配、数据表存在性校验、URL 补全、HTML 标签过滤 # 爬虫唯一标识名称启动爬虫命令scrapy crawl xiangmuSpidernamexiangmuSpider# 多起始地址用分号 ; 分隔自动拆分spider_urlhttps://url网址start_urlsspider_url.split(;)# 全局变量协议头、域名用于补全相对路径URLprotocolhostnamedef__init__(self,*args,**kwargs): 爬虫初始化构造方法 super().__init__(*args,**kwargs)defparse(self,response): 列表页解析入口 1. 解析域名与协议用于拼接完整URL 2. 数据库校验若数据表已存在则直接终止本次爬取 3. 遍历列表数据提取基础字段并跳转详情页 :param response: 列表页响应对象 :return: 详情页请求对象 # 解析起始URL拆分协议、主机名url_parse_resulturlparse(self.spider_url)self.protocolurl_parse_result.scheme self.hostnameurl_parse_result.netloc# 根据操作系统判断执行逻辑sys_platformplatform.system().lower()ifsys_platformin(linux,windows):# 建立数据库连接db_connself.db_connect()db_cursordb_conn.cursor()# 校验目标数据表是否已存在ifself.table_exists(db_cursor,xiangmu)1:# 表已存在关闭数据库资源执行临时数据逻辑并终止爬取db_cursor.close()db_conn.close()self.temp_data()return# 定位列表页所有房源节点item_listresponse.css(ul.subject-list li.subject-item)# 遍历每一条房源数据fornodeinitem_list:# 实例化Item对象用于封装爬取字段itemxiangmuItem()# 1. 抓取来源链接source_urlnode.css(div.pic a.nbg::attr(href)).extract_first()# 去除HTML标签与空白字符item[laiyuan]self.remove_html(source_url)# 补全相对URL为完整可访问地址item[laiyuan]self.complete_url(item[laiyuan])# 2. 抓取封面图地址cover_imgnode.css(div.pic a.nbg img::attr(src)).extract_first()item[fengmian]self.remove_html(cover_img)# 3. 抓取房源简短名称/标题titlenode.css(div.info h2 a::attr(title)).extract_first()item[xiaoshuoming]self.remove_html(title)# 详情页URL处理detail_urlnode.css(div.pic a.nbg::attr(href)).extract_first()detail_urlself.complete_url(detail_url)# 同步更新来源地址为详情页地址item[laiyuan]detail_url# 发起详情页请求将当前已抓取字段通过meta传递到详情解析函数yieldscrapy.Request(urldetail_url,meta{fields:item},callbackself.detail_parse,dont_filterTrue# 关闭去重保证正常抓取)defdetail_parse(self,response): 详情页解析函数 抓取作者信息整合所有字段后交付Pipeline入库 :param response: 详情页响应对象 :return: 封装完成的Item数据 # 接收列表页传递过来的Item数据itemresponse.meta[fields]try:# 抓取作者信息author_textresponse.css(div#info span a::text).extract_first()# 清洗HTML、空格、特殊符号item[zuozhe]self.remove_html(author_text)exceptExceptionase:# 异常捕获作者字段抓取失败则置空不中断整体爬取self.logger.warning(f作者信息抓取异常:{str(e)})item[zuozhe]# 将完整Item交给Scrapy管道进行数据持久化yielditemdefremove_html(self,html_str): 工具方法清除HTML标签、首尾空白字符 :param html_str: 原始带标签字符串 :return: 纯文本内容 ifnothtml_str:return# 正则匹配所有HTML标签并替换为空html_patternre.compile(r[^],re.S)clean_texthtml_pattern.sub(,html_str)# 去除首尾空格、换行returnclean_text.strip()defcomplete_url(self,raw_url): 工具方法统一补全相对URL为完整URL修复原代码重复拼接逻辑 :param raw_url: 原始相对链接 :return: 完整HTTP/HTTPS链接 ifnotraw_url:return# 已为完整链接直接返回ifraw_url.startswith((http://,https://)):returnraw_url# 协议相对链接 //xxx.comifraw_url.startswith(//):returnf{self.protocol}:{raw_url}# 站点内相对链接 /xxx/xxxifraw_url.startswith(/):returnf{self.protocol}://{self.hostname}{raw_url}# 其他情况直接返回原字符串returnraw_urldefdb_connect(self): 数据库连接方法 读取Scrapy配置文件参数支持 MySQL / SQL Server 两种数据库 :return: 数据库连接对象 # 读取配置文件中的数据库类型、地址、端口、账号、密码db_typeself.settings.get(TYPE,mysql)hostself.settings.get(HOST,localhost)portint(self.settings.get(PORT,3306))userself.settings.get(USER,root)passwordself.settings.get(PASSWORD,123456)# 优先读取实例传参的数据库名无则读取配置文件try:db_nameself.databaseNameexceptAttributeError:db_nameself.settings.get(DATABASE,)# 根据数据库类型创建连接ifdb_typemysql:connpymysql.connect(hosthost,portport,dbdb_name,useruser,passwdpassword,charsetutf8)else:connpymssql.connect(hosthost,useruser,passwordpassword,databasedb_name)returnconndeftable_exists(self,cursor,table_name): 工具方法判断数据库中指定数据表是否存在 :param cursor: 数据库游标对象 :param table_name: 待校验表名 :return: 1表存在 0表不存在 # 查询当前库下所有数据表cursor.execute(SHOW TABLES;)# 提取所有表名all_tablescursor.fetchall()table_listre.findall(r(.*?),str(all_tables))table_list[t.replace(,)fortintable_list]return1iftable_nameintable_listelse0deftemp_data(self): 临时数据处理逻辑原代码预留方法业务自定义 数据表已存在时执行此方法可自行扩展逻辑 self.logger.info(目标数据表已存在跳过新一轮爬取执行临时数据逻辑)源码及文档获取文章下方名片联系我即可~大家点赞、收藏、关注、评论啦 、查看获取联系方式精彩专栏推荐订阅在下方专栏最新计算机毕业设计选题篇-选题推荐小程序毕业设计精品项目案例-200套Java毕业设计精品项目案例-200套Python毕业设计精品项目案例-200套大数据毕业设计精品项目案例-200套如果大家有任何疑虑欢迎在下方位置详细交流。
-快速入门和基础讲解)
双梁正问题 【 torch 实战】（Python代码实现）)
