NLP实战：疫情新闻舆情分析中的LDA主题建模与情感分析-北京尧图网络

2020年初那会儿我接到一个新闻文本数据的舆情分析需求要在短时间内把内容库里激增的新闻稿件理出一个脉络来——大家到底在讨论什么整体情绪是恐慌、焦虑还是趋于理性以及这些情绪是不是跟着事件在波动。光靠人工翻显然不现实几十万篇稿子堆在数据库里看标题都看不完。这就是一个非常典型的自然语言处理NLP任务主题层面用LDA主题模型去拆情绪层面用情感分析去打标数据对象则是清一色的疫情相关新闻文本数据。这篇文章是我当时整个方案和踩坑过程的复盘。从数据清洗、分词、LDA主题建模、情感分析到最后的交叉解读每一步我都尽量把“为什么这么做”和“实际跑出来什么样”讲清楚。目标读者是正准备做新闻语料、舆情分析、社科文本挖掘的同学以及想知道NLP技术到底能在真实文本上产出什么结果的产品和运营朋友。文章里会涉及一些Python代码但核心思路即使不跑代码也能看懂。1. 疫情新闻语料的特殊性为什么通用NLP流程在这里会失灵很多教程用新闻语料做演示时都是拿现成的、清洗好的数据集看起来很顺利。但疫情新闻这种真实环境下的语料和通用新闻有个很大的区别它的文本形态和情绪密度极其不均衡。如果不先理解这一点后面跑出来的LDA主题和情感分数大概率是废的。1.1 疫情新闻与普通新闻的三个本质差异第一个差异是转载率极高。同一篇通稿、同一条疫情通报会被几十个地方门户、自媒体账号反复转载。标题可能换了一下措辞正文几乎一字不差。如果不去重LDA主题模型会把“转载最多的稿件”当成“最受关注的议题”这个偏差是致命的。第二个差异是术语高度集中且更新快。新冠疫情相关的报道里“核酸”“疫苗”“密接”“无症状感染者”“流调”这些词反复出现而且随着时间推移新词不断冒出来。通用的中文停用词表根本没有这些词jieba分词默认词典也经常把“火神山”切成“火神”和“山”把一个专有名词切得支离破碎。第三个差异是情感表达的极端混合。同一篇新闻里可能既写了“新增确诊病例数上升”也写了“治愈出院人数增加”。按句子单独做情感分析会得到一条正面一条负面但整篇稿子的基调到底是正还是负取决于编辑的侧重。这是后续情感建模最头疼的问题后面专门讲。1.2 领域停用词和自定义词典必须同步构建通用新闻停用词表哈工大停用词表、百度停用词表可以作为底子但必须做两件事第一把新闻行业套话加进去。比如“记者”“通讯员”“本报讯”“责任编辑”“版权声明”这类跟内容主题无关的词汇在主题建模里是纯噪声。第二把疫情语境下的高频但又不能揭示主题的虚词加进去。我当时在停用词表里加了“新增”“确诊”“病例”“疫情”“防控”这些词。这里要特别提醒加停用词不是越多越好要两版对比着看。我试过把“疫情”也去掉结果主题确实变得“清晰了”——但代价是失去了一个最核心的议题锚点。后来我保留“疫情”这个锚点词只去掉了“新增”“病例”这类动态动词和名词组合。自定义词典方面我当时用 jieba 的add_word方式维护了一个领域词表机构与场所类火神山、雷神山、方舱医院、疾控中心、联防联控医学类核酸检测、无症状感染者、密切接触者、抗体检测、呼吸机事件与政策类复工复产、开学复课、健康码、流调、溯源这一步看起来琐碎但直接影响分词质量而分词质量直接决定LDA主题能不能聚出有意义的话题。1.3 清洗阶段最容易忽略的三个雷区疫情新闻数据还有一个特点时效性极强而且发布节奏不均匀。新增病例暴增的那几天稿子数量会突然翻几倍到疫情平稳期稿子又可能一周才几百篇。做时间维度分析时如果按自然日聚合曲线会剧烈震荡需要按周或者按事件节点做平滑。清洗阶段我踩过最大的坑是时间字段的问题。很多新闻页面没有明确的发布时间或者发布时间是“3小时前”这种相对时间。采集下来如果不处理后面做“情感随时间变化”的分析就根本没法做。我当时强制要求数据入库时必须解析出绝对时间戳解析不出来的直接弃掉虽然损失了一部分样本但保证了时间序列的可靠性。另外正文里的HTML标签、JS脚本、乱码字符都要在进入分词前处理干净。我见过有人直接在带标签的文本上跑LDA结果主题词里全是“div”“class”“href”这类事故在真实项目中比想象中常见得多。2. 数据获取与预处理从网页新闻到干净的语料库明确了语料特点之后处理流程就清晰了。这一节讲的是落到代码层面的数据获取和预处理细节。2.1 数据源选型新闻文本数据的来源大致有三类公开新闻API很多新闻门户和政务平台有公开的数据接口适合小规模试验。公开数据集清华THUCNews、CLUE等公开中文语料里都有新闻子集研究用途可以直接用。自建爬虫针对某个新闻网站做定向采集需要处理反爬和页面结构变化。如果你是学生或者做课题研究我建议优先用公开数据集把精力放在分析而不是采集上。如果一定要自己采集务必遵守目标网站的 robots 协议控制采集频率不要用采集数据做任何商业用途。2.2 文本清洗与规范化拿到原始 HTML 后我的清洗管线大概是这样的import re import jieba def clean_text(text): # 去掉HTML标签 text re.sub(r[^], , text) # 去掉JS/CSS块 text re.sub(rscript.*?/script, , text, flagsre.S) # 全角转半角、统一空白 text text.replace(\u3000, ).replace(\xa0, ) text re.sub(r\s, , text) # 去掉非中文、非数字、非英文字符 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9], , text) return text.strip()这一步不是简单地“清一下”它会直接决定后面分词的稳定性。英文单词和数字建议保留比如“COVID-19”里的“19”在英文片段里会有意义虽然清洗后会变成“COVID 19”两个token原样去掉数字可能会把日期、数量等信息全部丢掉。2.3 分词和停用词过滤分词我用的 jieba 配合自定义词典import jieba # 加载自定义词典每一行一个词 jieba.load_userdict(covid_dict.txt) def cut_words(text, stopwords): text clean_text(text) words jieba.lcut(text) # 过滤单个字、纯数字、停用词 result [] for w in words: if len(w) 1: continue if w in stopwords: continue if re.fullmatch(r[0-9], w): continue result.append(w) return result这里有两个点想展开说。第一分词的粒度要和任务匹配。LDA建模的时候我最后只保留了词性为名词和动词的词形容词没留。为什么因为疫情新闻里形容词大多出现在直接引语和评论段落语言风格影响因素太大保留形容词会让主题往“情绪风格”而不是“议题内容”上聚类。如果你做的是情感分析形容词反而是关键特征不能一刀切。所以分词和词性过滤的策略要跟着下游任务走。第二去重必须放在分词前面。我当时先做了 MD5 精确去重把正文完全相同的稿子删掉再用 SimHash 做近似去重阈值设在汉明距离3以内把仅改标题或者改首尾段的转载稿也合并掉。这一步做完语料规模大概砍掉了四成。不做这步LDA会严重高估某一类通稿题材的占比。2.4 语料核查跑LDA之前先做一次嗅觉测试预处理完不要急着建模。先做一次“嗅觉测试”随机抽50篇文本看一眼确认没被清洗管线切得面目全非再看全语料的高频词表判断是否符合对疫情新闻的基本认知。我当时抽出高频词以后发现“点赞”和“致敬”排得很靠前这说明语料里确实有大量正能量向的评论和综述稿和当时的社会语境是吻合的。这种基本盘确认看起来不起眼但能帮你提前发现采集偏差、编码错误等低级问题。很多项目最后结果没法解释不是因为算法不行而是输入数据从一开始就是歪的。3. LDA主题建模不要让“最优主题数”骗了你LDALatent Dirichlet Allocation隐含狄利克雷分配是主题建模里最常用的方法。它的核心思想用大白话说就是每篇文档其实是若干个主题按不同比例混合出来的每个主题又是由一组词按不同概率生成的。模型要反推的就是“每篇文档的主题比例”和“每个主题的词分布”。3.1 一个帮助理解LDA的生活化直觉你可以把LDA想象成一场集体命题作文每个“写手”先拿到几种固定话题的“写作提纲”主题分布然后每次动笔写下一句话之前按提纲比例选一个话题再从这个话题对应的“词汇点心单”里挑词。LDA要做的就是看着所有成稿反推每个写手手里的提纲大致是什么、每份点心单上都有哪些词、权重各是多少。这个直觉很重要因为它直接解释了LDA的缺陷它只看得见词的共现看不见语义。比如“苹果”和“微软”如果高频出现在同一批稿子里LDA可能会把它们聚成一个主题尽管这俩是两家公司“苹果”和“香蕉”如果很少同现反而不会被聚到“水果”这个主题下。所以LDA结果必须靠人去解释不能指望它输出“真正”的主题标签。3.2 主题数K怎么定不要迷信困惑度确定主题数K是LDA最经典的坑。教科书上常讲用困惑度perplexity选K但在新闻文本数据上困惑度曲线往往是两种形态要么随着K增大一直下降没有明显拐点要么在某个K附近下降得非常平缓那个拐点也未必对应“语义最优”。我见过太多人盯着困惑度曲线硬选K最后跑出来的主题词云里一堆无法解释的词。我当时的做法是三种信号交叉验证困惑度曲线看趋势但不是决策依据。主题一致性coherencec_v指标衡量主题内部词的语义关联度越高越好。人工可读性把每个主题的top 15个词打出来问自己一句——“这个词表能不能让我猜到这个主题在讲什么”。实际操作时我循环尝试了K3到K10from gensim.models import LdaModel from gensim.models.coherencemodel import CoherenceModel coherence_scores [] for k in range(3, 11): lda LdaModel( corpuscorpus, id2worddictionary, num_topicsk, random_state42, passes30, alphaauto, etaauto ) cm CoherenceModel(modellda, textstexts, dictionarydictionary, coherencec_v) coherence_scores.append((k, cm.get_coherence()))主题一致性在K5和K7附近各有一个高点但对比top词的可解释性K5明显更好——每个主题都能对应到一个清晰的议题方向而K7有至少两个主题在讲相似的事。最后我选了5不是因为模型指标更高而是因为结果更可解释。3.3 gensim实操参数设置的几点心得核心训练代码很简单from gensim.corpora.dictionary import Dictionary from gensim.models import LdaModel # tokens是分词后的文本列表每篇新闻是一个词列表 dictionary Dictionary(tokens) # 过滤低频词出现次数少于5次的词直接踢掉 dictionary.filter_extremes(no_below5, no_above0.5) corpus [dictionary.doc2bow(doc) for doc in tokens] lda LdaModel( corpuscorpus, id2worddictionary, num_topics5, random_state42, passes50, alphaauto, etaauto ) for idx, topic in lda.print_topics(num_words10): print(fTopic {idx}: {topic})几个参数的经验值passes迭代次数我用了50收敛效果比默认的1好很多训练时间也完全可以接受。alpha和eta都设成“auto”让模型自己学习文档-主题分布和主题-词分布的稀疏程度。新闻语料里文档长短差异大auto往往比固定的对称值效果好。random_state固定随机种子保证实验可复现。没有这一步你跑两次会得到两套完全不同的主题词表排查问题时会非常痛苦。3.4 实际跑出来的主题解读一个简化的示例下面是我在疫情新闻语料上一个简化的示例结果不代表真实数据但结构非常典型主题编号代表词按权重人工标签0抗体、病毒、传播、研究、论文、实验、突变病毒科研进展1疫苗、接种、生产、运输、分配、冷链、有效性疫苗接种与供应2复工、复产、经济、中小企业、就业、外贸、消费经济影响与恢复3医院、患者、救治、呼吸机、床位、医生、护理医疗资源与救治4联防联控、隔离、核酸、社区、排查、流调、密接防控措施与流调看到这个结果我第一反应不是“模型好准”而是去核查“主题之间是不是足够分离”。比如主题1和主题3都出现了“医疗”相关词但前者聚焦疫苗后者聚焦救治分离度是可以接受的。如果出现两个主题的top词高度重叠就要考虑是不是K选大了或者停用词没去干净。另外我强烈建议跑一下pyLDAvis做交互式可视化import pyLDAvis.gensim_models as gensimvis import pyLDAvis vis_data gensimvis.prepare(lda, corpus, dictionary) pyLDAvis.display(vis_data)它能把每个主题表示成一个气泡气泡大小代表主题在语料中的占比横纵坐标代表主题间的语义距离。气泡互相重叠少的模型主题分离度通常不错。这个图在做汇报的时候也特别有用比甩一堆主题词列表直观得多。4. 情感分析模型选型的真实考量LDA解决的是“在讲什么”的问题情感分析解决的是“用什么态度在讲”的问题。这两个任务在疫情新闻里都有很多微妙之处。4.1 三种情感分析路线的对比方法原理优点缺点情感词典法统计文本中正负面词的数量和权重解释性强、不需要标注数据对否定句、反讽、上下文语义几乎无能为力传统机器学习TF-IDF/词袋 SVM/朴素贝叶斯特征可控、训练快需要大量领域标注数据预训练模型BERT等语言模型做文本分类语义理解强、精度通常最高需要标注数据、算力要求高SnowNLP等轻量工具基于朴素贝叶斯的预训练分类器开箱即用、代码极简训练语料是电商评论领域迁移效果差我当时在快速出结果和精度之间做了个折中先用SnowNLP跑一遍全量数据再用情感词典做规则修正。这个方案适合预算有限、标注数据不足的场景后面细说。4.2 SnowNLP的快速实现和它的领域迁移问题SnowNLP 的sentiments属性返回0到1之间的情感倾向分数越接近1越正面越接近0越负面。代码几乎没有任何学习成本from snownlp import SnowNLP def get_sentiment(text): text clean_text(text)[:1000] # 截断防止过长文本拖慢速度 return SnowNLP(text).sentiments df[sentiment] df[content].apply(get_sentiment)但这里有个特别大的坑SnowNLP是用电商购物评论训练的它理解的“正面”是“质量好”“物流快”“客服态度好”。把疫情新闻扔进去会出现一种很滑稽的错位一篇描述“新增病例清零”的稿子会被打成负面因为里面充满了“感染”“确诊”“死亡”这些在电商语料里从来没见过的词一篇带货软文反而会被打成高情感分。要修正这个问题我当时做了两件事。第一用大连理工情感词汇本体库构造一个领域情感基准分。这个词典给每个情感词标注了正负属性和强度我拿它算每篇新闻的(正面词加权频次 - 负面词加权频次)得到一个词典情感分再和SnowNLP分数做对照。如果两者方向矛盾说明SnowNLP在该样本上很可能不靠谱。第二人工抽了500条新闻标注正负用这500条校准SnowNLP的分数区间。我试过两种校准方式一种是直接找一个适用于新闻领域的阈值另一种是做线性回归把SnowNLP分数映射到人工标注分数上。后者效果更好但需要更多的标注样本。如果你有3000条以上的人工标注直接微调一个BERT模型会是最优解。4.3 否定句和转折句是最容易翻车的地方词典法和轻量模型都有同一个死穴否定与转折。“不感动”三个字如果词典里“感动”是正面词那“不感动”会被算成正面实际却是反面表达。“虽然新增病例很多但治愈出院率持续上升”——前半句是负面后半句是正面整个句子的情感取决于语义重心的位置。这在新闻语料里根本不是少数现象。我的补救办法很朴素清洗阶段保留标点先按句子切分对每个句子做情感打分然后用一句话的核心情态词做加权。比如句子里出现“虽然……但……”就给“但”后面的分句更高的权重。这个方案谈不上优雅但在没有标注数据的时候确实能改善不少。4.4 情感的时间演化从震荡到收敛把每个月的新闻情感分均值拉出来时间序列会呈现非常明显的波段性。疫情初期的稿子整体偏焦虑和沉重因为大量报道集中在新增病例、医疗资源紧张和封控措施随着科研进展和疫苗问世关于“疫苗有效性”“康复出院”的稿子开始增多整体情感分逐步上移。这种时间维度上的情感演化是单纯做主题模型看不到的。我的习惯是把情感分按周做聚合用7天日均值来拉平滑曲线。同时把LDA主题占比也按周叠加到同一张图上观察“主题热度变化”和“情感曲线变化”之间是否同步。后面第五部分会讲到的交叉分析其实就是这个思路的延伸。5. 主题与情感的交叉分析单看哪一边都是浪费LDA给了一堆主题情感分析给了一堆分数如果只输出“主题占比最高的5个话题”和“平均情感分0.62”那这个项目的价值就只发挥了一半。真正有价值的是把两者结合起来回答这样一个问题不同议题的情绪倾向有什么差异情绪随时间的波动到底是哪些议题驱动的5.1 交叉分析的设计思路实现起来其实很简单每篇新闻都有LDA给出的主题分布取概率最高的那个作为该文档的“主主题”同时每篇新闻有一个情感分数。这样我们只需要按主主题做分组统计每组的情感均值、中位数、方差就能得到“主题-情感”的交叉表。# df已经包含了主主题和情感分 cross_stats df.groupby(main_topic)[sentiment].agg([mean, median, std, count]) print(cross_stats)我记得当时跑出来不同主题之间的情感差异非常显著“疫苗接种与供应”相关稿子的平均情感分显著高于整体均值“经济影响与恢复”的则显著低于整体均值。这个结果符合直觉疫苗意味着希望停工停产意味着焦虑。但如果不做交叉分析这个结论藏在数据里是不容易看出来的。5.2 一张表看清各主题的情绪画像主主题平均情感分情感标准差主题样本量占比病毒科研进展0.630.1214%疫苗接种与供应0.710.1018%经济影响与恢复0.400.1522%医疗资源与救治0.520.1426%防控措施与流调0.570.1120%注意这是一份用于说明分析思路的示例数据真实项目里同样会得到类似的结构性差异但具体数值完全取决于语料构成和情感模型的选择。这个表的价值在于它把一个抽象的“情绪氛围”拆解成了“哪些议题在拉高情绪、哪些议题在拉低情绪”这才是指向性明确的分析结果。5.3 业务落地分析结果能拿来干嘛交叉分析的结果可以直接服务内容生产。比如做科普宣传时可以借鉴“疫苗接种”主题里高频出现的正面词汇提炼出更容易缓解大众焦虑的表达方式看到“经济影响”主题的低情感分持续很久就可以定向策划一些关于复工复产、就业扶持的深度报道去对冲负面情绪。可视化方面我建议优先做两个图堆叠面积图或热力图横轴是时间周纵轴是主题占比或情感均值颜色深浅表达情感极性。散点气泡图横轴是主题占比纵轴是平均情感分气泡大小代表主题下新闻条数快速识别“高热度高情绪”和“高热度低情绪”的主题。这些图都不需要专门的可视化工具matplotlib 和 pyecharts 就够了。重点是图的语义要明确一看就能说出“哪个主题最热”“哪个主题情绪最差”。6. 实战踩过的坑和补救办法最后这部分是纯经验分享。LDA和情感分析本身都不难难的是一旦你的数据处理管线里有任何一个小坑它不会在报错时告诉你而是会在结果里体现为一种“说不上来哪里不对劲”的偏差。6.1 坑一去重不够彻底主题占比被“搬运工”扭曲我第一次跑LDA的时候没有做SimHash近似去重只做了MD5精确去重。结果“防控措施”类主题的占比被显著高估了——因为地方门户大量转载上级媒体的通稿每篇都改了标题和首段正文几乎相同SimHash一比对全是重复但MD5看不出。去重之后主题占比重新分配很多后续结论都要推翻重来。这个教训的通用价值在于做内容类文本分析去重粒度必须匹配你的分析粒度。分析主题时近似重复的转载必须去除分析标题风格时标题反而是研究对象就不能简单去重。6.2 坑二词典更新后忘返回去重新分词我在项目中途往自定义词典里加了“德尔塔”“奥密克戎”这些后来出现的新词。加完之后没有重跑整个管线结果导致前后两批分词结果不一致LDA模型在训练集和预测集上的表现出现明显的水平差异。等发现问题时已经跑了很多下游实验。从那以后我养成一个习惯任何词典、停用词表的改动都必须重跑一遍全流程再造语料绝不允许“后续增量分词”。因为LDA的词典是全局的后面文档里的新词如果之前没出现过就会被当成OOV处理主题分布就会偏。6.3 坑三情感阈值想当然用0.5很多人拿到SnowNLP或者类似模型下意识认为0.5就是正负分界线。实际跑出来SnowNLP在新闻领域往往整体偏低可能中位数只有0.3或0.4。“0.5以上算正面”这个规则会让几乎所有新闻都变成负面新闻图表没法看。正确做法是先看全量情感分数的分布找到分布上的自然分界点再用人工标注样本去验证阈值合理性。我当时按月度是分开看分布形状的因为不同时间段新闻的情感基调差异太大用一个全局阈值反而会掩盖这种阶段性变化。6.4 坑四时间聚合粒度过粗或过细如果按天聚合情感均值曲线会剧烈抖动尤其是周日和周一稿子数量差异大的时候曲线会出现周期性的假性波动如果按月聚合又会把“疫情突发”“政策转向”这类关键事件的影响平均掉看不出情绪的快速切换。按周聚合是一个比较稳妥的起点。做完之后再按关键事件节点去切分对比效果会好很多。6.5 复现建议和扩展方向如果你要在自己的数据上复现这套流程我建议把整个链路封装成四段式pipeline采集入库 - 清洗去重 - 时间解析分词 - 自定义词典 - 停用词过滤LDA训练 - 主题一致性评估 - 主题人工标注情感打分 - 阈值校准 - 主题情感交叉统计每一步都输出中间文件方便随时回溯。不要试图在一个脚本里从头跑到尾文本分析项目最大的敌人就是“无法定位是哪一步出了问题”。扩展方向上如果你手头有一年以上的新闻数据可以关注动态主题模型DTM它能把主题随时间的演化趋势也建模出来比“分时间段各跑一次LDA再对比”要严谨得多。情感标注方面现在也可以用大模型做few-shot标注来替代一部分人工标注成本可控效果不错。我个人在实际操作中的体会是这类NLP项目能不能做出价值真正的分水岭往往不在模型选得多高级而在于有没有先把语料的“脾气”摸清楚。疫情新闻这种情绪密度高、转载率高、术语更新快的语料本身就是最好的试金石。如果你能把这套流程跑通并且每一步都说得清楚为什么这么做那换到任何领域的新闻或评论数据上你都不会慌。

NLP实战：疫情新闻舆情分析中的LDA主题建模与情感分析

相关推荐

ClickHouse v21.3.2.5-LTS 版本全解析：新特性、性能优化与关键修复

DeepSeek-Reasonix 评测实战：读懂 eventlog 追加式事件日志包，从 README 到验证闭环

把一句敷衍的 prompt 改成带 7 条约束的提示词：prompt-optimizer 快速上手指南

更多资讯

lisflood-utilities 0.11.6 实战：三个工具高效处理洪水模拟数据

Spring AOP与AspectJ对比：企业级开发中的AOP技术选型

机器学习预测A股走势：从特征工程到LightGBM源码实战

PCA9698 I2C GPIO扩展驱动剖析：从寄存器到Linux内核移植

树莓派嵌入式物联网闭环系统：从传感器到远程控制

Turso 异步 I/O 模型深入解析：协作式让出、显式状态机与 CompletionGroup 实践

今日更新

SpacetimeDB C++ 模块库实战：用 C++20 在数据库内构建 WebAssembly 模块

别踩雷！不是所有 AI 写作工具都靠谱，2026 高校认可工具精选

SSM+MySQL幼儿园管理系统源码解析：从部署到优化

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？