1. 项目概述从B站弹幕里挖出“宝藏”做内容分析、舆情观察或者就是单纯想看看网友们在热门视频里到底在刷什么梗B站Bilibili的弹幕绝对是一座富矿。和静态的评论不同弹幕是实时流动的、带有强烈情绪和社区氛围的文本流它能最直观地反映一个视频在哪些时间点引爆了观众的情绪哪些台词成了“名场面”。我自己就经常需要分析一些影视区、科技区视频的弹幕数据来辅助判断内容的热点分布和观众反馈。但B站官方并没有提供一个便捷的批量导出弹幕的功能这时候写一个爬虫就成了最直接有效的解决方案。这个项目就是围绕如何合规、稳定、高效地爬取B站视频的弹幕数据展开的。它不仅仅是发个HTTP请求那么简单你需要理解B站的前后端交互方式找到弹幕的真实数据接口处理可能存在的反爬机制最后还要将非结构化的XML或JSON数据转换成我们能分析的格式。整个过程会涉及到网络请求、数据解析、简单的内容去重和存储。对于刚接触爬虫的朋友来说这是一个非常好的综合练习项目能让你熟悉从分析到抓取再到清洗的全流程对于有经验的数据分析者它则提供了一个稳定可靠的数据采集方法。注意爬虫行为必须遵守法律法规和网站的服务条款。B站的robots.txt文件明确规定了哪些目录允许或禁止爬取。本项目仅用于个人学习与技术交流务必控制请求频率避免对B站服务器造成压力严禁将爬取数据用于商业或非法用途。高频、无节制的请求不仅可能导致你的IP被暂时或永久封禁也会挤占正常用户的带宽资源影响他人体验。2. 核心思路与技术选型不走网页直击API爬取网页数据新手最容易想到的就是用BeautifulSoup去解析HTML页面。但对于B站弹幕这条路效率低且不稳定。因为现代网站大量使用JavaScript动态加载数据弹幕并不会直接写在初始的HTML里。我们需要换一种思路直接找到网站背后用于传输数据的应用程序接口API。2.1 思路解析寻找数据源头当你播放一个B站视频时弹幕是随着播放进度条加载的。浏览器开发者工具按F12的“网络”Network选项卡是我们最好的朋友。刷新页面并筛选“XHR”或“Fetch”请求当你滚动进度条时会发现一个名为?oid...type1之类的请求其响应内容是一堆看似乱码的字符。这其实就是经过压缩的弹幕原始数据包。我们的核心思路就是模拟浏览器找到并请求这个真正的弹幕数据接口而不是去解析整个视频页面。2.2 技术栈选择为什么是Requests lxml/json基于上述思路我们的技术选型就非常明确了requests库用于发送HTTP请求。它简单易用足以应对本项目需求。相比urllib它的API更加人性化。lxml或json库用于解析数据。B站弹幕接口返回的数据主要有两种格式一种是经过压缩的XML格式需要解压和XML解析另一种是较新的JSON格式。lxml库解析XML速度快json则是Python标准库处理JSON数据轻而易举。pandas(可选但推荐)用于数据的清洗、分析和存储。将爬取的弹幕列表转换为DataFrame后进行去重、时间戳转换、分组统计等操作会非常方便。time库用于在请求间插入延时。这是遵守爬虫礼仪、避免被封IP的关键。不选择Scrapy这样的大型框架是因为本项目目标单一结构简单用轻量级的requests足矣更容易让初学者理解每一步发生了什么。不选择Selenium是因为我们不需要模拟浏览器点击、滚动等行为直接调用API效率更高资源消耗更小。3. 关键步骤拆解与实操要点整个爬取过程可以分解为几个清晰的步骤每一步都有需要注意的细节。3.1 第一步获取视频的CID内容IDB站的弹幕、视频流等信息都与一个叫cid的参数绑定。这个cid并不直接等于视频的BV号或AV号。我们需要先通过视频的BV号如BV1xx411c7mh来获取其对应的cid。操作方法打开目标视频页面。按F12打开开发者工具进入“网络”面板。刷新页面在请求列表中找到一个包含视频BV号或初始加载信息的请求通常是第一个index.html的请求或其后的某个api请求。在其响应体Response中搜索“cid”你会找到一串数字这就是我们要的cid。实际上B站提供了一个公开的API来获取视频信息其中就包含cid。你可以构造一个如下的API请求https://api.bilibili.com/x/web-interface/view?bvidBV1xx411c7mh请求这个URL会返回一个JSON其中data-cid字段就是所需的内容ID。这是最稳定和推荐的方法。实操心得有时一个视频有多个分P章节每个分P都有一个独立的cid。上面API返回的data-pages列表里包含了所有分P的cid。你需要根据你的目标分P索引来获取正确的cid。3.2 第二步定位并请求弹幕数据接口拿到cid后就可以构造弹幕数据接口的URL了。B站的弹幕接口相对稳定格式如下https://api.bilibili.com/x/v1/dm/list.so?oid{cid}这里的oid参数就是上一步获取的cid。请求这个接口服务器会返回一个XML格式的响应。如果遇到新的接口格式同样可以通过开发者工具在播放视频时观察网络请求找到返回弹幕数据的那个请求地址进行复制。请求头Headers设置 直接请求这个接口可能会被拒绝或返回错误数据。我们需要模拟一个真实浏览器的请求。最少需要设置User-Agent。一个常见的做法是复制浏览器中某个正常请求的Headers来用。import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://www.bilibili.com/video/BV1xx411c7mh # 最好加上来源页更模拟真实行为 } cid 123456789 url fhttps://api.bilibili.com/x/v1/dm/list.so?oid{cid} response requests.get(url, headersheaders)3.3 第三步解析与处理弹幕数据上一步得到的response.content是压缩过的XML数据。我们需要先解压再解析。import zlib import re from lxml import etree # 解压数据 (B站弹幕XML常用deflate压缩) data zlib.decompress(response.content, -zlib.MAX_WBITS) xml_text data.decode(utf-8) # 使用lxml解析XML xml_tree etree.fromstring(xml_text.encode(utf-8)) # 所有的弹幕都存储在d标签中其p属性包含了时间、模式、颜色等信息标签文本是弹幕内容 danmu_list xml_tree.xpath(//d) for danmu in danmu_list: # 例如p属性为 “161.78900,1,25,16777215,1587297003,0,e12f5d7f,123456789” attrs danmu.get(p).split(,) send_time float(attrs[0]) # 弹幕在视频中出现的时间秒 mode int(attrs[1]) # 弹幕模式1-3滚动4底部5顶部... font_size int(attrs[2]) # 字体大小 color int(attrs[3]) # 颜色十进制RGB timestamp int(attrs[4]) # 弹幕发送时间戳Unix时间 pool int(attrs[5]) # 弹幕池0普通1字幕2特殊 sender_id attrs[6] # 发送者UID的CRC32加密字符串 row_id attrs[7] # 弹幕在数据库中的ID text danmu.text # 弹幕文本内容 # 接下来可以将这些信息存储起来数据清洗要点去重基于row_id或发送时间内容进行去重避免同一弹幕被多次记录。时间对齐send_time是弹幕在视频中出现的时间点timestamp是弹幕被发送的绝对时间。分析弹幕与视频内容互动时主要用send_time。文本处理弹幕中可能包含特殊字符、颜文字、甚至代码。根据你的分析目标可能需要进行去除空格、过滤无意义字符如纯数字、纯符号等操作。3.4 第四步存储与后续分析对于中小规模的爬取存储为CSV或JSON文件是最方便的。使用pandas可以轻松完成。import pandas as pd data [] for danmu in danmu_list: attrs danmu.get(p).split(,) data.append({ ‘出现时间秒’: float(attrs[0]), ‘模式’: int(attrs[1]), ‘颜色’: ‘#’ hex(int(attrs[3]))[2:].zfill(6), # 转换为十六进制颜色码 ‘发送时间戳’: int(attrs[4]), ‘弹幕内容’: danmu.text }) df pd.DataFrame(data) # 去重示例根据内容和出现时间 df df.drop_duplicates(subset[‘出现时间秒’ ‘弹幕内容’] keepfirst) # 保存为CSV df.to_csv(‘b站弹幕.csv’ indexFalse, encoding‘utf-8-sig’)存储后你就可以进行各种分析了比如弹幕数量随时间视频进度的分布图哪里是高潮、弹幕词云图大家都在刷什么、特定关键词的出现频率等。4. 完整代码实现与封装建议将上述步骤整合我们可以写一个简单的函数输入B站视频的BV号输出弹幕的DataFrame。import requests import zlib import pandas as pd from lxml import etree import time def get_cid(bvid): 根据BV号获取CID info_url f‘https://api.bilibili.com/x/web-interface/view?bvid{bvid}’ try: resp requests.get(info_url, headers{‘User-Agent’: ‘Mozilla/5.0’}) resp.raise_for_status() json_data resp.json() if json_data[‘code’] 0: # 默认获取第一个分P的cid return json_data[‘data’][‘cid’] else: print(f“获取CID失败 {json_data[‘message’]}”) return None except Exception as e: print(f“请求视频信息出错 {e}”) return None def fetch_danmaku(cid): 根据CID获取并解析弹幕 danmaku_url f‘https://api.bilibili.com/x/v1/dm/list.so?oid{cid}’ headers { ‘User-Agent’: ‘Mozilla/5.0 ...’, ‘Referer’: ‘https://www.bilibili.com/’ } try: resp requests.get(danmaku_url, headersheaders) resp.raise_for_status() # 解压并解析XML data zlib.decompress(resp.content, -zlib.MAX_WBITS) xml_tree etree.fromstring(data) danmu_elements xml_tree.xpath(‘//d’) danmu_data [] for d in danmu_elements: attrs d.get(‘p’).split(‘,’) danmu_data.append({ ‘video_time’: float(attrs[0]), ‘mode’: int(attrs[1]), ‘font_size’: int(attrs[2]), ‘color’: int(attrs[3]), ‘send_timestamp’: int(attrs[4]), ‘pool’: int(attrs[5]), ‘crc32_id’: attrs[6], ‘dm_id’: attrs[7], ‘text’: d.text }) return pd.DataFrame(danmu_data) except zlib.error as e: print(“解压数据失败接口可能已变更。” e) return pd.DataFrame() except Exception as e: print(f“获取或解析弹幕失败 {e}”) return pd.DataFrame() def main(bvid): print(f“正在处理视频 {bvid}”) cid get_cid(bvid) if not cid: print(“无法获取CID退出。”) return print(f“获取到CID {cid}”) df fetch_danmaku(cid) if not df.empty: print(f“共爬取到 {len(df)} 条弹幕。”) # 简单清洗去重 df df.drop_duplicates(subset[‘video_time’ ‘text’] keep‘first’) print(f“去重后剩余 {len(df)} 条弹幕。”) # 保存 filename f“{bvid}_danmaku.csv” df.to_csv(filename, indexFalse, encoding‘utf-8-sig’) print(f“弹幕已保存至 {filename}”) else: print(“未爬取到弹幕数据。”) # 礼貌的延时 time.sleep(2) if __name__ ‘__main__’: # 示例爬取某个视频的弹幕 main(‘BV1GJ411x7h7’)封装与优化建议异常处理代码中已加入基础异常处理但在生产环境中应更完善比如网络超时重试、响应状态码检查等。配置化将User-Agent、请求间隔时间、保存路径等提取为配置文件或函数参数。日志记录使用logging模块替代print便于记录运行状态和错误。速率限制如果你需要爬取多个视频务必在main函数调用之间或循环内部加入time.sleep(random.uniform(3, 7))这样的随机延时模拟人类操作避免触发反爬。5. 常见问题、反爬策略与应对技巧在实际操作中你几乎一定会遇到下面这些问题。5.1 请求被拒绝或返回空数据问题直接请求弹幕接口返回403、404或者返回的数据包无法解压。排查检查Headers确保User-Agent是有效的浏览器标识并尝试添加Referer头通常设置为视频页面URL。检查接口URLB站的接口可能会更新。重新用开发者工具抓包确认最新的弹幕接口地址和参数。有时可能需要额外的参数如type1表示弹幕类型。检查CID有效性确认你使用的cid是否正确且对应视频存在。解决模拟更完整的浏览器请求头。除了User-Agent和Referer有时Origin头也很重要。你可以直接从浏览器开发者工具里复制一个成功请求的Headers部分直接用作你的requests请求头字典。5.2 数据解析出错zlib.error问题在zlib.decompress步骤报错如Error -3 while decompressing data: incorrect header check。原因服务器返回的数据可能不再是deflate压缩格式或者接口已变更直接返回了未压缩的XML或JSON。解决try: data zlib.decompress(resp.content, -zlib.MAX_WBITS) except zlib.error: # 如果解压失败尝试直接当作文本解码 data resp.content # 或者尝试其他解压方式如gzip # import gzip # data gzip.decompress(resp.content)最稳妥的方法是先检查响应头Content-Encoding判断压缩类型再选择对应的解压方式。5.3 弹幕数量巨大或需要历史弹幕问题默认接口可能只返回最近的部分弹幕或者视频弹幕量太大。分析B站弹幕有分池和分段加载机制。对于长视频或热门视频弹幕可能被分成多个“段”segment。接口URL中可能有segment_index参数。历史弹幕特定日期的获取则可能需要不同的接口并且往往带有签名验证等更复杂的反爬。应对对于分段可以尝试循环请求不同的segment_index如1 2 3...直到返回空数据。对于历史弹幕需要分析更复杂的API这可能涉及对请求参数进行加密签名难度会大幅增加且频繁请求历史数据极易触发风控。非必要不建议深究历史弹幕接口。5.4 IP被封禁现象短时间内请求过多后后续请求全部失败或返回验证页面。预防降低频率在每次请求后增加延时time.sleep(random.uniform(5, 15))。爬取多个视频时间隔应更长。使用代理IP池对于大规模爬取这是必备的。但本项目作为学习控制好单视频爬取频率即可。遵守robots.txt虽然API接口不一定在robots.txt中明确禁止但保持礼貌的爬取间隔是行业共识。处理一旦被封该IP可能在几分钟到几小时内无法访问B站。唯一的办法就是等待解封并在此后的爬虫中严格遵守速率限制。5.5 数据字段含义变化问题解析出来的p属性字段顺序或含义发生了变化。应对这是爬虫需要长期维护的常态。定期用你的爬虫测试已知视频并与网页端显示的弹幕信息如发送时间进行比对验证。一旦发现不一致立即重新抓包分析新的字段格式。将解析逻辑封装成函数并写好注释便于后期调整。我个人在长期维护这类爬虫时最大的体会就是“稳”字当头。不要追求极致的速度一个稳定运行、每天能礼貌地抓取一些数据的爬虫远比一个火力全开但跑半天就被封的爬虫有价值得多。把延时调高一点把错误处理写得更健壮一些模拟浏览器的行为更像一些这些投入在长期来看都是值得的。另外定期比如每个月检查一下核心接口是否有变动可以避免数据突然中断。最后爬取到的数据是宝贵的妥善存储和备份并尊重数据来源方的权益只在合法合规的范围内使用它们。
1. 项目概述从B站弹幕里挖出“宝藏”做内容分析、舆情观察或者就是单纯想看看网友们在热门视频里到底在刷什么梗B站Bilibili的弹幕绝对是一座富矿。和静态的评论不同弹幕是实时流动的、带有强烈情绪和社区氛围的文本流它能最直观地反映一个视频在哪些时间点引爆了观众的情绪哪些台词成了“名场面”。我自己就经常需要分析一些影视区、科技区视频的弹幕数据来辅助判断内容的热点分布和观众反馈。但B站官方并没有提供一个便捷的批量导出弹幕的功能这时候写一个爬虫就成了最直接有效的解决方案。这个项目就是围绕如何合规、稳定、高效地爬取B站视频的弹幕数据展开的。它不仅仅是发个HTTP请求那么简单你需要理解B站的前后端交互方式找到弹幕的真实数据接口处理可能存在的反爬机制最后还要将非结构化的XML或JSON数据转换成我们能分析的格式。整个过程会涉及到网络请求、数据解析、简单的内容去重和存储。对于刚接触爬虫的朋友来说这是一个非常好的综合练习项目能让你熟悉从分析到抓取再到清洗的全流程对于有经验的数据分析者它则提供了一个稳定可靠的数据采集方法。注意爬虫行为必须遵守法律法规和网站的服务条款。B站的robots.txt文件明确规定了哪些目录允许或禁止爬取。本项目仅用于个人学习与技术交流务必控制请求频率避免对B站服务器造成压力严禁将爬取数据用于商业或非法用途。高频、无节制的请求不仅可能导致你的IP被暂时或永久封禁也会挤占正常用户的带宽资源影响他人体验。2. 核心思路与技术选型不走网页直击API爬取网页数据新手最容易想到的就是用BeautifulSoup去解析HTML页面。但对于B站弹幕这条路效率低且不稳定。因为现代网站大量使用JavaScript动态加载数据弹幕并不会直接写在初始的HTML里。我们需要换一种思路直接找到网站背后用于传输数据的应用程序接口API。2.1 思路解析寻找数据源头当你播放一个B站视频时弹幕是随着播放进度条加载的。浏览器开发者工具按F12的“网络”Network选项卡是我们最好的朋友。刷新页面并筛选“XHR”或“Fetch”请求当你滚动进度条时会发现一个名为?oid...type1之类的请求其响应内容是一堆看似乱码的字符。这其实就是经过压缩的弹幕原始数据包。我们的核心思路就是模拟浏览器找到并请求这个真正的弹幕数据接口而不是去解析整个视频页面。2.2 技术栈选择为什么是Requests lxml/json基于上述思路我们的技术选型就非常明确了requests库用于发送HTTP请求。它简单易用足以应对本项目需求。相比urllib它的API更加人性化。lxml或json库用于解析数据。B站弹幕接口返回的数据主要有两种格式一种是经过压缩的XML格式需要解压和XML解析另一种是较新的JSON格式。lxml库解析XML速度快json则是Python标准库处理JSON数据轻而易举。pandas(可选但推荐)用于数据的清洗、分析和存储。将爬取的弹幕列表转换为DataFrame后进行去重、时间戳转换、分组统计等操作会非常方便。time库用于在请求间插入延时。这是遵守爬虫礼仪、避免被封IP的关键。不选择Scrapy这样的大型框架是因为本项目目标单一结构简单用轻量级的requests足矣更容易让初学者理解每一步发生了什么。不选择Selenium是因为我们不需要模拟浏览器点击、滚动等行为直接调用API效率更高资源消耗更小。3. 关键步骤拆解与实操要点整个爬取过程可以分解为几个清晰的步骤每一步都有需要注意的细节。3.1 第一步获取视频的CID内容IDB站的弹幕、视频流等信息都与一个叫cid的参数绑定。这个cid并不直接等于视频的BV号或AV号。我们需要先通过视频的BV号如BV1xx411c7mh来获取其对应的cid。操作方法打开目标视频页面。按F12打开开发者工具进入“网络”面板。刷新页面在请求列表中找到一个包含视频BV号或初始加载信息的请求通常是第一个index.html的请求或其后的某个api请求。在其响应体Response中搜索“cid”你会找到一串数字这就是我们要的cid。实际上B站提供了一个公开的API来获取视频信息其中就包含cid。你可以构造一个如下的API请求https://api.bilibili.com/x/web-interface/view?bvidBV1xx411c7mh请求这个URL会返回一个JSON其中data-cid字段就是所需的内容ID。这是最稳定和推荐的方法。实操心得有时一个视频有多个分P章节每个分P都有一个独立的cid。上面API返回的data-pages列表里包含了所有分P的cid。你需要根据你的目标分P索引来获取正确的cid。3.2 第二步定位并请求弹幕数据接口拿到cid后就可以构造弹幕数据接口的URL了。B站的弹幕接口相对稳定格式如下https://api.bilibili.com/x/v1/dm/list.so?oid{cid}这里的oid参数就是上一步获取的cid。请求这个接口服务器会返回一个XML格式的响应。如果遇到新的接口格式同样可以通过开发者工具在播放视频时观察网络请求找到返回弹幕数据的那个请求地址进行复制。请求头Headers设置 直接请求这个接口可能会被拒绝或返回错误数据。我们需要模拟一个真实浏览器的请求。最少需要设置User-Agent。一个常见的做法是复制浏览器中某个正常请求的Headers来用。import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://www.bilibili.com/video/BV1xx411c7mh # 最好加上来源页更模拟真实行为 } cid 123456789 url fhttps://api.bilibili.com/x/v1/dm/list.so?oid{cid} response requests.get(url, headersheaders)3.3 第三步解析与处理弹幕数据上一步得到的response.content是压缩过的XML数据。我们需要先解压再解析。import zlib import re from lxml import etree # 解压数据 (B站弹幕XML常用deflate压缩) data zlib.decompress(response.content, -zlib.MAX_WBITS) xml_text data.decode(utf-8) # 使用lxml解析XML xml_tree etree.fromstring(xml_text.encode(utf-8)) # 所有的弹幕都存储在d标签中其p属性包含了时间、模式、颜色等信息标签文本是弹幕内容 danmu_list xml_tree.xpath(//d) for danmu in danmu_list: # 例如p属性为 “161.78900,1,25,16777215,1587297003,0,e12f5d7f,123456789” attrs danmu.get(p).split(,) send_time float(attrs[0]) # 弹幕在视频中出现的时间秒 mode int(attrs[1]) # 弹幕模式1-3滚动4底部5顶部... font_size int(attrs[2]) # 字体大小 color int(attrs[3]) # 颜色十进制RGB timestamp int(attrs[4]) # 弹幕发送时间戳Unix时间 pool int(attrs[5]) # 弹幕池0普通1字幕2特殊 sender_id attrs[6] # 发送者UID的CRC32加密字符串 row_id attrs[7] # 弹幕在数据库中的ID text danmu.text # 弹幕文本内容 # 接下来可以将这些信息存储起来数据清洗要点去重基于row_id或发送时间内容进行去重避免同一弹幕被多次记录。时间对齐send_time是弹幕在视频中出现的时间点timestamp是弹幕被发送的绝对时间。分析弹幕与视频内容互动时主要用send_time。文本处理弹幕中可能包含特殊字符、颜文字、甚至代码。根据你的分析目标可能需要进行去除空格、过滤无意义字符如纯数字、纯符号等操作。3.4 第四步存储与后续分析对于中小规模的爬取存储为CSV或JSON文件是最方便的。使用pandas可以轻松完成。import pandas as pd data [] for danmu in danmu_list: attrs danmu.get(p).split(,) data.append({ ‘出现时间秒’: float(attrs[0]), ‘模式’: int(attrs[1]), ‘颜色’: ‘#’ hex(int(attrs[3]))[2:].zfill(6), # 转换为十六进制颜色码 ‘发送时间戳’: int(attrs[4]), ‘弹幕内容’: danmu.text }) df pd.DataFrame(data) # 去重示例根据内容和出现时间 df df.drop_duplicates(subset[‘出现时间秒’ ‘弹幕内容’] keepfirst) # 保存为CSV df.to_csv(‘b站弹幕.csv’ indexFalse, encoding‘utf-8-sig’)存储后你就可以进行各种分析了比如弹幕数量随时间视频进度的分布图哪里是高潮、弹幕词云图大家都在刷什么、特定关键词的出现频率等。4. 完整代码实现与封装建议将上述步骤整合我们可以写一个简单的函数输入B站视频的BV号输出弹幕的DataFrame。import requests import zlib import pandas as pd from lxml import etree import time def get_cid(bvid): 根据BV号获取CID info_url f‘https://api.bilibili.com/x/web-interface/view?bvid{bvid}’ try: resp requests.get(info_url, headers{‘User-Agent’: ‘Mozilla/5.0’}) resp.raise_for_status() json_data resp.json() if json_data[‘code’] 0: # 默认获取第一个分P的cid return json_data[‘data’][‘cid’] else: print(f“获取CID失败 {json_data[‘message’]}”) return None except Exception as e: print(f“请求视频信息出错 {e}”) return None def fetch_danmaku(cid): 根据CID获取并解析弹幕 danmaku_url f‘https://api.bilibili.com/x/v1/dm/list.so?oid{cid}’ headers { ‘User-Agent’: ‘Mozilla/5.0 ...’, ‘Referer’: ‘https://www.bilibili.com/’ } try: resp requests.get(danmaku_url, headersheaders) resp.raise_for_status() # 解压并解析XML data zlib.decompress(resp.content, -zlib.MAX_WBITS) xml_tree etree.fromstring(data) danmu_elements xml_tree.xpath(‘//d’) danmu_data [] for d in danmu_elements: attrs d.get(‘p’).split(‘,’) danmu_data.append({ ‘video_time’: float(attrs[0]), ‘mode’: int(attrs[1]), ‘font_size’: int(attrs[2]), ‘color’: int(attrs[3]), ‘send_timestamp’: int(attrs[4]), ‘pool’: int(attrs[5]), ‘crc32_id’: attrs[6], ‘dm_id’: attrs[7], ‘text’: d.text }) return pd.DataFrame(danmu_data) except zlib.error as e: print(“解压数据失败接口可能已变更。” e) return pd.DataFrame() except Exception as e: print(f“获取或解析弹幕失败 {e}”) return pd.DataFrame() def main(bvid): print(f“正在处理视频 {bvid}”) cid get_cid(bvid) if not cid: print(“无法获取CID退出。”) return print(f“获取到CID {cid}”) df fetch_danmaku(cid) if not df.empty: print(f“共爬取到 {len(df)} 条弹幕。”) # 简单清洗去重 df df.drop_duplicates(subset[‘video_time’ ‘text’] keep‘first’) print(f“去重后剩余 {len(df)} 条弹幕。”) # 保存 filename f“{bvid}_danmaku.csv” df.to_csv(filename, indexFalse, encoding‘utf-8-sig’) print(f“弹幕已保存至 {filename}”) else: print(“未爬取到弹幕数据。”) # 礼貌的延时 time.sleep(2) if __name__ ‘__main__’: # 示例爬取某个视频的弹幕 main(‘BV1GJ411x7h7’)封装与优化建议异常处理代码中已加入基础异常处理但在生产环境中应更完善比如网络超时重试、响应状态码检查等。配置化将User-Agent、请求间隔时间、保存路径等提取为配置文件或函数参数。日志记录使用logging模块替代print便于记录运行状态和错误。速率限制如果你需要爬取多个视频务必在main函数调用之间或循环内部加入time.sleep(random.uniform(3, 7))这样的随机延时模拟人类操作避免触发反爬。5. 常见问题、反爬策略与应对技巧在实际操作中你几乎一定会遇到下面这些问题。5.1 请求被拒绝或返回空数据问题直接请求弹幕接口返回403、404或者返回的数据包无法解压。排查检查Headers确保User-Agent是有效的浏览器标识并尝试添加Referer头通常设置为视频页面URL。检查接口URLB站的接口可能会更新。重新用开发者工具抓包确认最新的弹幕接口地址和参数。有时可能需要额外的参数如type1表示弹幕类型。检查CID有效性确认你使用的cid是否正确且对应视频存在。解决模拟更完整的浏览器请求头。除了User-Agent和Referer有时Origin头也很重要。你可以直接从浏览器开发者工具里复制一个成功请求的Headers部分直接用作你的requests请求头字典。5.2 数据解析出错zlib.error问题在zlib.decompress步骤报错如Error -3 while decompressing data: incorrect header check。原因服务器返回的数据可能不再是deflate压缩格式或者接口已变更直接返回了未压缩的XML或JSON。解决try: data zlib.decompress(resp.content, -zlib.MAX_WBITS) except zlib.error: # 如果解压失败尝试直接当作文本解码 data resp.content # 或者尝试其他解压方式如gzip # import gzip # data gzip.decompress(resp.content)最稳妥的方法是先检查响应头Content-Encoding判断压缩类型再选择对应的解压方式。5.3 弹幕数量巨大或需要历史弹幕问题默认接口可能只返回最近的部分弹幕或者视频弹幕量太大。分析B站弹幕有分池和分段加载机制。对于长视频或热门视频弹幕可能被分成多个“段”segment。接口URL中可能有segment_index参数。历史弹幕特定日期的获取则可能需要不同的接口并且往往带有签名验证等更复杂的反爬。应对对于分段可以尝试循环请求不同的segment_index如1 2 3...直到返回空数据。对于历史弹幕需要分析更复杂的API这可能涉及对请求参数进行加密签名难度会大幅增加且频繁请求历史数据极易触发风控。非必要不建议深究历史弹幕接口。5.4 IP被封禁现象短时间内请求过多后后续请求全部失败或返回验证页面。预防降低频率在每次请求后增加延时time.sleep(random.uniform(5, 15))。爬取多个视频时间隔应更长。使用代理IP池对于大规模爬取这是必备的。但本项目作为学习控制好单视频爬取频率即可。遵守robots.txt虽然API接口不一定在robots.txt中明确禁止但保持礼貌的爬取间隔是行业共识。处理一旦被封该IP可能在几分钟到几小时内无法访问B站。唯一的办法就是等待解封并在此后的爬虫中严格遵守速率限制。5.5 数据字段含义变化问题解析出来的p属性字段顺序或含义发生了变化。应对这是爬虫需要长期维护的常态。定期用你的爬虫测试已知视频并与网页端显示的弹幕信息如发送时间进行比对验证。一旦发现不一致立即重新抓包分析新的字段格式。将解析逻辑封装成函数并写好注释便于后期调整。我个人在长期维护这类爬虫时最大的体会就是“稳”字当头。不要追求极致的速度一个稳定运行、每天能礼貌地抓取一些数据的爬虫远比一个火力全开但跑半天就被封的爬虫有价值得多。把延时调高一点把错误处理写得更健壮一些模拟浏览器的行为更像一些这些投入在长期来看都是值得的。另外定期比如每个月检查一下核心接口是否有变动可以避免数据突然中断。最后爬取到的数据是宝贵的妥善存储和备份并尊重数据来源方的权益只在合法合规的范围内使用它们。
