微博转发网络分析：Python构建传播图谱与关键节点挖掘-北京尧图网络

简介面向社交网络分析与Python爬虫实践学习者这份资源以新浪微博转发数据为对象完整演示从模拟登录、网页解析到网络图与时间图绘制的项目流程适合入门数据采集和关系网络分析的实战训练。压缩包共16个文件以6个Python脚本为核心配合3个编译生成的pyc文件、3个文本记录、1份CSV数据集、2张PNG结果图和1份Markdown说明分别承担登录、编码、解析、绘图等模块功能其中网络图清晰呈现转发链条时间图帮助发现传播规律整包大小仅485KB轻量便捷。目前已有775人学习资源目录结构清晰便于按主程序、辅助模块与输出结果逐层对照复现。借助该案例既可掌握微博数据抓取、关系网络建模与可视化的完整方法也可通过原始CSV数据验证节点聚合效果并学习多文件Python工程的拆分与排错思路是入门社交网络分析的一次扎实演练。1. 新浪微博转发网络分析从一条微博到一张传播地图打开微博一条消息被转发了十万次。这十万次转发不是一条直线而是一张充满分叉和层级的有向网络——有人转给粉丝粉丝再转给粉丝的粉丝形成一个多级的传播树。做社交网络分析就是把这棵树的形状、关键节点、圈层结构都量化出来。用 Python 处理新浪微博的转发数据可以回答几个非常实际的问题谁是让这条微博扩散出去的关键中转站信息在哪个圈层里停留最久转发层级到了第几层就衰减到几乎为零本文适合刚接触社交网络分析、手里有微博数据或者正准备采集转发数据的从业者全程用可运行的 Python 代码把从清洗到出图的主流程走一遍。真正做过这个方向的人都知道微博的转发数据比想象中脏得多时间格式不统一、用户 ID 和昵称错位、被删除的中间节点让网络断链。这些坑不提前处理后续算出来的中心度全是错的。本文会先讲数据怎么清洗和建模再做图指标与社区发现最后把避坑经验和可视化技巧一次性说清楚。2. 数据准备转发数据采集与清洗的最小可用方案2.1 字段设计与存储做分析前先想清楚要什么做转发网络分析最怕拿到数据后才发现关键字段没有采集。我一般在采集阶段就固定四个核心字段源微博 ID、发布时间、用户 ID、转发关系。其中转发关系用「谁转发了谁」表达具体来说就是一条转发记录里需要记录转发者 uid、被转发者 uid、转发时间、转发层级。如果数据来自爬虫还需要保留原始微博的 mid因为后续要按 mid 把同一条微博的所有转发记录聚合到一起。存储上直接用 CSV 就能跑通字段不要多五列足够source_mid, source_uid, repost_uid, repost_time, repost_level这里source_mid是原始微博的 IDsource_uid是原始微博作者的 IDrepost_uid是转发者的 IDrepost_time是转发动作发生的时间repost_level是这条转发在传播树里的深度。repost_level非常关键没有它后续没法算传播深度分布。2.2 清洗四步去重、补全、格式统一、层级校验实际数据里最常见的脏数据是重复转发记录。用户连续转两次爬虫可能抓到两条用户转发后又删除数据里也会留下僵尸记录。先做去重按source_mid repost_uid去重保留最早的一条。import pandas as pd df pd.read_csv(weibo_repost_raw.csv) # 去重同一用户对同一条微博的重复转发只保留最早的一条 df df.sort_values(repost_time) df df.drop_duplicates(subset[source_mid, repost_uid], keepfirst) # 时间字段统一为 datetime 类型后续按时间窗口计算才靠谱 df[repost_time] pd.to_datetime(df[repost_time]) # 用户 ID 统一为字符串避免 ID 过长被当浮点数处理丢精度 df[repost_uid] df[repost_uid].astype(str) df[source_uid] df[source_uid].astype(str) # 缺失层级填 1代表直接转发原始微博 df[repost_level] df[repost_level].fillna(1).astype(int) print(df.shape) print(df[repost_level].value_counts().sort_index())这段代码的逻辑是先按时间排序再按用户去重保证留下来的最早转发是用户的首次动作。时间转成 datetime 类型是为了后续能按小时做传播速度分析用户 ID 转字符串则是必须的——微博的 uid 超过 JavaScript 的安全整数范围用 pandas 默认读入会变成浮点数尾部几位直接丢成 0后面匹配全是垃圾数据。层级字段用 fillna(1) 是因为部分转发记录没有爬到转发链接的父节点这时按直接转发处理是最保守的选择。如果层级数据大量缺失不要勉强修复更合理的做法是回到采集端重新解析转发页面里的「转自某用户」这个标签。2.3 断链检测转发关系里的中间人丢了怎么办转发数据最头疼的问题是中间节点缺失。A 转发了 BB 转发了原始微博但爬虫没抓到 B 的这条转发记录网络里就出现 A 直接指向原始微博的假边。这种断链会让传播深度被低估也会让一些中转节点的重要性被高估。检测断链的办法是看repost_level的跳变如果一条转发记录声称是第 3 层但它的父节点第 2 层的某条记录在数据里不存在这条记录就可以被标记为断链。清洗时有两种选择丢弃它或者把它的层级改为 1。我的习惯是保留但降级为 1原因很简单——数据量本身就不大丢弃会让网络密度进一步下降。# 构建转发父子关系每条转发需要记录它转自哪条中间微博 # 这里假设采集时已经拿到了 parent_uid 字段 if parent_uid in df.columns: df[parent_uid] df[parent_uid].astype(str) known_uids set(df[repost_uid]) | set(df[source_uid]) # 父节点不在已知用户集合里的视为断链 broken_mask ~df[parent_uid].isin(known_uids) print(f断链记录数: {broken_mask.sum()}) # 断链记录降级为直接转发 df.loc[broken_mask, repost_level] 1参数说明parent_uid是采集阶段额外加的一个字段表示这条转发记录的父节点用户 ID。如果没有采集这个字段就退回到用repost_level跳变来做断链检测。注意断链处理不是越激进越好把断链降级为第 1 层会人为抬高原始微博的度后面计算入度时要心里有数。3. 用 NetworkX 构建转发网络并计算核心指标3.1 有向图建模为什么不能把转发关系当成无向边微博的转发关系天然是有向的信息从原始微博流向转发者再从转发者流向下一级转发者。如果把 A 转发 B 当成无向边社区发现会把两个完全不相关的粉丝群体强行并到一起中心度计算结果也会失真。构建图这一步要用 DiGraph边的方向是「被转发者 - 转发者」。import networkx as nx G nx.DiGraph() # 添加边被转发者指向转发者方向代表信息流向 for _, row in df.iterrows(): source row[source_uid] target row[repost_uid] if G.has_edge(source, target): G[source][target][weight] 1 else: G.add_edge(source, target, weight1) print(f节点数: {G.number_of_nodes()}, 边数: {G.number_of_edges()}) print(f网络密度: {nx.density(G):.4f})这段代码用邻接的权重累加处理同一用户多次转发的情况。微博的实际场景里同一用户不太可能反复转发同一条微博但测试数据里可能出现加上权重字段总归保险。nx.density对有向图非常不友好真实转发网络的密度通常在 0.001 以下这个数值只适合做横向对比别拿它当绝对衡量标准。3.2 中心度计算入度、出度与 PageRank 的互补视角在转发网络里入度代表这个用户被多少不同的人转发了出度代表这个用户转发了多少不同的人。入度极高的节点是内容源头或中间层大 V出度极高的节点是活跃的传播者。只算度不够因为微博的传播是级联的一个节点哪怕入度只有 5只要这 5 个节点的粉丝量足够大它的实际影响力可能超过入度 50 的节点。所以还要叠加 PageRank 或 HITS 算法。# 入度与出度 in_degrees dict(G.in_degree()) out_degrees dict(G.out_degree()) # PageRank默认权重是边权重alpha 取 0.85 是常规设置 pagerank nx.pagerank(G, alpha0.85) # 整合成表格 df_node pd.DataFrame({ uid: list(G.nodes()), in_degree: [in_degrees[n] for n in G.nodes()], out_degree: [out_degrees[n] for n in G.nodes()], pagerank: [pagerank[n] for n in G.nodes()] }) df_node df_node.sort_values(pagerank, ascendingFalse) print(df_node.head(10))参数说明alpha0.85是 PageRank 的标准阻尼系数意味着一个用户有 15% 的概率随机跳转到任意其他节点。做微博数据时alpha 可以适当提高到 0.9因为信息沿转发链传播的特性比网页链接更强随机跳转的概率理论上更低。别盲调0.85 到 0.9 之间通常差异不大但如果网络中强连通分量很小调高 alpha 反而会让 PageRank 集中在少数几个节点上。3.3 转发层级分布与传播深度衰减把清洗后的repost_level按层级统计数量能得到一条衰减曲线。绝大多数微博在第 2 层到第 3 层就衰减完了能到第 5 层以上的微博占比极低。这个分布直接决定分析策略如果数据集中在第 1 层和第 2 层那么社区发现和传播路径的价值就被压缩了分析重心应该放在源头影响力的拆解上。level_dist df[repost_level].value_counts().sort_index() level_ratio level_dist / level_dist.sum() for level, ratio in level_ratio.items(): print(f第 {level} 层级占比: {ratio:.2%}) # 平均转发深度加权平均 avg_depth (df[repost_level].astype(int) * 1.0).mean() print(f平均传播深度: {avg_depth:.2f})平均传播深度是一个很直观的指标低于 1.5 说明信息几乎只在第一层完成传播高于 2.5 说明存在明显的多级裂变。单条微博的转发层级分布和平均深度在做事件对比分析时比单纯看转发总量有意义得多——转发总量可以被炸弹号刷出来但传播深度是刷不出来的。3.4 强连通分量找到转发网络里的「信息回流圈」有向图里的强连通分量表示一组节点之间两两都能通过转发链到达对方。在新浪微博的真实场景里强连通分量通常对应互粉互转的小圈子。这个组件的规模如果异常偏大比如占了全图节点的一半以上那这个网络很可能是刷量形成的正常的信息传播不会出现大面积的多向连通。wcc nx.weakly_connected_components(G) scc nx.strongly_connected_components(G) # 只看规模排前五的弱连通分量 wcc_sizes sorted([len(c) for c in wcc], reverseTrue)[:5] scc_sizes sorted([len(c) for c in scc], reverseTrue)[:5] print(f弱连通分量规模 Top5: {wcc_sizes}) print(f强连通分量规模 Top5: {scc_sizes})弱连通分量的规模分布可以用来判断网络是否碎片化。如果最大的弱连通分量只占全图节点的 20%说明这次传播覆盖的是多个互不相连的粉丝圈层壁垒很强如果占比超过 70%说明信息跨圈层流动顺畅。这两个解读方向是写分析结论时最有价值的部分。4. 社区发现与传播路径分析Louvain 算法落地4.1 社区发现选型为什么 Louvain 比 Girvan-Newman 更适合微博数据社交网络分析里做社区发现常见的有 Girvan-Newman 和 Louvain 两种思路。Girvan-Newman 通过反复计算边介数并移除边来分裂社区时间复杂度高微博十万级节点的网络直接跑不动。Louvain 基于模块度优化迭代速度极快百万级边也就几十秒是目前处理微博这类大规模网络的主流选择。如果网络规模小于 5000 个节点Girvan-Newman 还能用但当节点超过这个量级直接用 Louvain 是唯一的合理路径。import community as community_louvain # 注意Louvain 社区发现一般作用于无向加权图 # 转发网络需要先把有向图转成无向图权重取两个方向的转发次数之和 G_undirected G.to_undirected() # 用 resolution 参数控制社区粒度1.0 是默认值 partition community_louvain.best_partition(G_undirected, resolution1.0) df_node[community] df_node[uid].map(partition) community_size df_node.groupby(community).size().sort_values(ascendingFalse) print(community_size.head(10))参数说明resolution1.0对应标准模块度调大这个值会让社区划分得更细碎调小则会让社区更聚合。做微博转发网络时我一般先用 1.0 跑一轮看看社区规模分布如果最大社区占比超过 50%就把 resolution 调到 1.2 到 1.5 之间再试。社区划分粒度没有绝对标准取决于报告要看哪个粒度看品牌圈层用粗粒度看跨圈层传播用细粒度。G.to_undirected()这一步会丢失方向信息但社区发现本来就不依赖方向它关注的是人群聚合程度。如果对方向敏感比如要区分意见领袖和追随者那应该用第 3 章的 PageRank 结果而不是社区发现。4.2 传播路径提取从级联数据里还原信息主干一条微博的传播不是树状图上的所有分支都重要。提取传播路径最直接的方法是按转发层级把链路串起来。每条转发记录能定位到它的父节点把所有转发记录按「原始微博 → 第 1 层 → 第 2 层」串联就能得到完整的转发级联。# 构造级联每个节点记录自己转自谁 def build_cascade(df, source_mid): sub df[df[source_mid] source_mid].copy() cascade {} # 初始节点原始微博作者 root sub.iloc[0][source_uid] cascade[root] [] # 按转发层级遍历把每个用户挂到它的父节点下面 for _, row in sub.sort_values(repost_time).iterrows(): parent row.get(parent_uid, None) if parent is None or parent not in cascade: # 没有父节点信息或父节点缺失挂到根 cascade.setdefault(row[repost_uid], []).append(root) else: cascade.setdefault(row[repost_uid], []).append(parent) return cascade这个函数返回的是一个字典key 是用户 IDvalue 是它的父节点列表。多数情况下一个用户只有一个父节点但数据异常时可能出现多个所以用列表存储。parent_uid这个字段如果采集阶段没有就需要从转发页面的「转自」信息里二次解析这一步跑不了捷径。传播路径提取之后能做的事很多对比不同时段转发的路径长度差异、找出传播树的「枢纽」节点、识别转发链中断的位置。在做报告时我一般会把 Top10 传播路径单独导出成 CSV 给业务方看它们通常对这个比中心度指标更感兴趣。4.3 关键传播者识别K-core 与 PageRank 的配合使用识别关键传播者不要把 PageRank 当成唯一指标。PageRank 偏向源头内容型节点K-core 分解则能看出谁在网络的深层结构里。K-core 的值表示节点处在多深的核心圈层K 值越高的节点越是网络骨架的一部分。两者配合使用PageRank 高但 K-core 低说明这个节点是「孤胆英雄」影响力强但不嵌入圈子PageRank 高且 K-core 也高才是真正的圈层枢纽。# 计算无向图的 K-core core_numbers nx.core_number(G_undirected) # 按 K-core 值统计节点分布 core_dist pd.Series(core_numbers).value_counts().sort_index() print(core_dist) # 找 K-core 大于等于 10 的节点 high_core_nodes [n for n, k in core_numbers.items() if k 10] print(fK-core 10 的节点数: {len(high_core_nodes)})K-core 的阈值怎么定先看 distribution如果 K-core 最高的节点只有 5那定 10 就找不到人。先跑一遍分布再定阈值比拍脑袋定一个数要靠谱得多。K-core 与 PageRank 交叉筛选出来的节点集通常只有个位数到几十个这些就是要人工核查的重点对象。5. 踩坑记录微博转发网络分析的 5 个高频翻车现场5.1 mid 与 uid 的类型精度丢失现象用 pandas 读 CSV 后用户 ID 变成了类似 1.23457e15 的科学计数法后续和图里的节点对不上所有节点都匹配失败。原因微博 uid 是 19 位数字远超 Excel 和 pandas 默认 float64 的精确表示范围。读入时系统自动转成 float末尾几位被截断。解决读取时直接指定 dtypedf pd.read_csv(weibo_repost_raw.csv, dtype{ source_uid: str, repost_uid: str, source_mid: str, parent_uid: str })如果数据已经读坏了别试图用 round 修复已经丢的位数找不回来重新回源头导出。这个坑是所有微博数据处理里最隐蔽的因为它不出报错只是静默地错。5.2 转发时间与发布时间混淆现象用转发时间减发布时间算传播速度得到一堆负数。原因爬虫采集时把「原始微博发布时间」误解为「当前转发时间」或者时间字段解析时把时区弄混了导致部分转发时间早于发布时间。解决清洗时统一用 UTC 时间戳做中间态转北京时间再展示。同时做一次合理性校验转发时间早于发布时间的记录直接标记为异常df[pub_time] pd.to_datetime(df[pub_time], utcTrue) df[repost_time] pd.to_datetime(df[repost_time], utcTrue) invalid df[df[repost_time] df[pub_time]] print(f时间异常记录数: {len(invalid)})5.3 未转发的原始微博不在数据里现象构建网络后图的节点数远小于预期原始微博作者根本没出现在图里。原因采集时只抓了转发列表没有把原始微博本身作为一个节点加入网络。这会导致所有转发节点的入度从原始微博用户身上丢失第一层结构全断。解决在构建图之前把原始微博作为一个节点插入all_uids set(df[repost_uid]) | set(df[source_uid]) G.add_nodes_from(all_uids)5.4 微博被删除导致中间节点缺失现象传播深度分布断层大量转发集中在第 1 层和第 3 层第 2 层几乎为空。网络里出现很多「跳跃转发」。原因部分中间层用户删除了微博或被平台处理导致爬虫采集到的转发关系链断裂。解决检测层级跳变把断链记录降级为直接转发。这个方法在 2.3 写了但实际做的时候要注意断链如果超过总量 20%数据质量就不适合做深度分析只能做粗粒度的用户影响力排序别硬撑。5.5 网络密度极低导致 Louvain 社区切分失败现象运行 community_louvain.best_partition 后所有节点被分到同一个社区或社区数量极端少。原因转发网络太稀疏很多节点只有一条边模块度计算时无法形成有效社区结构。或者图构建错误把大量孤立节点也加了进来。解决先过滤掉度为 0 的节点只看实际参与转发的节点。如果还是不行降低 resolution 到 0.8 左右放宽社区聚合的阈值。如果依然一个社区那这个数据就是「事件性传播」而不是「圈层性传播」说明信息扩散靠的大节点单点播音不是圈层互动。6. 可视化与结论输出让分析结果真正被业务用起来6.1 交互式网络图用 PyVis 替代静态布局NetworkX 自带的 matplotlib 绘图在节点上千后一塌糊涂标签互相覆盖调参到崩溃。做交互式网络图PyVis 是个好选择直接输出 HTML可以缩放、拖动、点击看节点属性。from pyvis.network import Network # 取社区划分后的 Top 300 节点控制可视规模 top_nodes df_node.nlargest(300, pagerank)[uid].tolist() G_sub G_undirected.subgraph(top_nodes) net Network(height600px, width100%, bgcolor#ffffff, font_color#333333) net.from_nx(G_sub) # 根据 K-core 值设置节点大小 for node in net.nodes: uid node[id] node[value] core_numbers.get(uid, 1) * 3 node[title] fuid: {uid}brPR: {pagerank.get(uid, 0):.4f}br社区: {partition.get(uid, -1)} net.save_graph(weibo_network.html)这个图的节点大小与 K-core 挂钩鼠标悬停能看到 PageRank 和社区编号。PyVis 的参数里height控制画布高度font_color是标签颜色节点value控制半径。输出 HTML 后可以直接发给非技术背景的合作方双击节点还能看邻居。可视化的核心原则只画 Top 节点。全图一万个节点画出来没有任何阅读价值把 PageRank 前 300 的节点画清楚传播主骨架就出来了。剩下的节点是噪声不是信息。6.2 传播最快的 6 小时用时间窗切片验证传播路径做转发传播分析只看最终转发总量远远不够需要看信息是多久触达最大范围的。按小时统计转发量能明显看到一条微博的爆发期通常在前 6 小时。把爆发期和非爆发期的传播路径拆开对比会发现一个现象爆发期的传播路径高度依赖前 3 层的几个关键节点非爆发期的转发则分散得多。df[hour] df[repost_time].dt.hour hour_dist df.groupby(hour).size() # 找出转发量最高的连续 6 小时窗口 hourly df.set_index(repost_time).resample(1H).size() top_window_start hourly.sort_values(ascendingFalse).index[0] window hourly.loc[top_window_start:top_window_start pd.Timedelta(hours5)] print(f峰值小时: {top_window_start}) print(f窗口总转发量: {window.sum()})这个时间窗切片能直接验证前面的传播路径分析如果爆发期的路径存在明显的上游汇聚节点优化策略就有了方向如果转发是均匀爆发那就说明是推广资源位带动的和网络结构无关。6.3 结论落地的三层输出框架拿到图指标、社区划分和传播路径后该怎么输出我的习惯是三层结构。第一层是一句话结论这次传播的核心特征是跨圈层扩散还是圈内共振。第二层是证据用 Top10 关键传播者列表、社区划分结果、传播深度分布来支撑。第三层是动作品牌方应该维护哪些关键中转节点、下一次投放应该针对哪个社区做内容定制。这套分析流程我在多个模拟项目里反复用过模拟项目 X 是某品牌的舆情事件某图像处理 Demo 则是直接把微博转发逻辑套用在图片分享社区的数据上。两者数据形态不同但方法和参数完全通用——这才是社交网络分析的可迁移性所在。最后说一个自己的习惯每次拿到新的转发数据先不跑算法先做 5 分钟的描述性统计——转发总量、参与用户数、平均层级、时间跨度。这四个数能筛掉一半以上不值得深挖的数据。数据没有传播深度的时候什么社区发现、传播路径、关键节点分析全都是在给噪声做拟合。把好数据跑出好结论不稀奇能识别出不值得分析的数据才是真的省时间。希望这篇笔记能帮你少走一段弯路。本文还有配套的精品资源点击获取

微博转发网络分析：Python构建传播图谱与关键节点挖掘

相关推荐

Canvas仿真烟花特效：物理建模、渲染与性能优化实战

Windows服务器部署Oracle 19c：从安装包到静默安装的完整路线

2026继续教育论文降AI率工具实测：9款主流工具测评与避坑指南

更多资讯

网络游戏术语中英对照表：分类、译法与实操整理指南

VLA 系统学习第 15 课：为什么一个 Attention Head 还不够？——Multi-Head Attention 与 Transformer Block

超融合与vSAN实战：从硬件选型到故障排查的运维笔记

Bustub 个人实现源码解析：从编译到查询执行的完整工程实践

Java Future超时与取消机制详解：避免线程泄漏与雪崩

IntelliJ IDEA 插件开发实战：从环境搭建到 PSI 操作与避坑指南

今日更新

PHP htmlentities()函数用法讲解

AI Agent工程实战：从七要素到七个决策点的系统设计指南

AI入局芯片设计验证：验证收敛50倍加速的真相与应对

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？