CBOW词向量实战：从上下文预测到语义表示-北京尧图网络

做文本分类那会儿我最早用的是TF-IDF特征。向量虽然能做但问题也很明显特征矩阵稀稀疏疏的更关键的是“手机”和“电话”在向量空间里的关系跟“手机”和“香蕉”几乎没什么差别模型根本没法利用词语之间的语义关联去迁移知识。后来我把特征换成词向量整个效果立刻不一样了。这个变化背后正是深度学习用于自然语言处理时最基础也最实用的一招——CBOWContinuous Bag-of-Words连续词袋模型。CBOW的核心玩法用一句话概括就是“猜词游戏”给定一个词左右窗口内的上下文词让模型去预测正中间那个词。训练完成后网络中间那层学习到的权重就是每一个词的稠密向量也就是我们常说的词向量。这篇文章我会从训练数据准备、模型结构、训练细节、测试方法一路写到实战中容易踩的坑尽量把“为什么这么做”也讲清楚而不是只给一段能跑通的代码。1. CBOW到底在解决什么问题从“猜中间词”开始的向量学习1.1 为什么TF-IDF不够用从稀疏向量到分布式表示先说说我为什么放着TF-IDF不用非要折腾词向量。TF-IDF的问题在于它把每个词当成一个独立符号词与词之间没有“距离”概念。文本里“电脑”和“计算机”明明意思相近在TF-IDF的向量空间里却是完全正交的两个维度。这种情况下如果你只有少量标注数据模型学到“电脑”和“显示器”的关系后完全没法迁移到“计算机”和“显示器”的识别上。分布式表示distributed representation的想法正好相反把每个词映射到一个低维稠密向量比如100维或300维。词义相近的词它们的向量在空间里离得更近。可问题是怎么自动学出这种向量当年各家思路很多最终Word2Vec系的方案最简单粗暴用“一个词的上下文来预测这个词本身”这就是CBOW。CBOW的另一个优点是不需要人工标注。语料只要是一堆自然文本就行模型通过“猜词”这个自监督任务强行让每个词向量的含义由它周围的词来定义。换句话说一个词和谁一起出现它的向量就会被拉向那个方向。这就是“语义由上下文决定”这一思想在工程上的落地。1.2 CBOW的训练目标让邻居决定中间词CBOW的全称是Continuous Bag-of-Words。Bag-of-Words是指“词袋”意思是它不关心上下文词的顺序把上下文词当作一个无序集合Continuous是指输出是连续向量表示不是one-hot。具体训练样本是这样的假设有一句话“小明喜欢自然语言处理”设定窗口大小为2那么对于中心词“自然”上下文就是左侧的“小明”“喜欢”和右侧的“语言”“处理”。模型要做的事情就是只看到这四个词去预测中间那个词是“自然”。窗口在整篇语料上滑动每滑过一个位置就生成一个训练样本。这里有两个容易忽略的细节。第一窗口大小经常会被实际实现“随机化”训练时并不是固定取左右各N个词而是在1到N之间随机取一个实际窗口长度相当于做了数据增强能让模型在多样化的上下文上看得更稳。第二CBOW对上下文词是一个“平均”操作把四个词的向量先平均成一个向量再去做预测这也是“词袋”这个说法的由来——顺序不重要因为平均操作天然把顺序丢掉了。正是因为这种平均计算CBOW在训练速度上比它的兄弟模型Skip-gram要快很多因为每个样本只需要做一次预测而Skip-gram要对窗口里的每个上下文词各做一次预测。代价是CBOW对低频词的表示通常不够精细因为低频词在平均操作里容易被淹没。1.3 CBOW和Skip-gram的取舍速度、低频词与场景选择很多初学者会纠结到底选CBOW还是Skip-gram我一开始也纠结过。后来实践证明多数场景下这个选择并没有那么难看数据量和需求就行。对比维度CBOWSkip-gram训练目标用上下文预测中心词用中心词预测上下文训练速度快每个样本单次预测慢每个样本按窗口多次预测低频词表示相对弱相对好高频词平滑度较好一般典型使用场景大规模语料、要求训练速度中小规模语料、需要更丰富的语义关系如果你的语料有数亿甚至更多词选CBOW通常更划算因为训练时间短高频词的向量也会被磨得比较平滑。反之如果语料规模不大比如只有几万条句子我一般会优先试Skip-gram它对低频词更友好向量质量整体更有保证。不过这篇既然主角是CBOW下面所有内容我都默认用它来展开。2. 训练前必须做对的准备语料清洗、样本构造与采样策略2.1 语料预处理决定下限的那一步很多教程直接跳过了语料预处理但实际上CBOW效果的下限不是模型决定的而是语料预处理决定的。我见过不止一次有人模型代码完全正确训练完却测不出合理结果最后发现是语料里混了一堆HTML标签和乱码符号。预处理通常包括这几件事统一大小写、过滤无意义字符、处理数字和URL、分词、统计词频、过滤低频词。英文场景还有要不要做词形还原lemmatization的选择这取决于任务。如果你关心的是语义相似度词形还原有时能让“run”和“running”共享一个向量有时反而会丢失时态信息建议两种都试一下再定。中文语料的预处理重点是分词。分词质量直接决定了词表质量因为CBOW的“词”是离散单位切错了词上下文就完全变了。我常用的做法是先用一个开源中文分词工具做初切然后把一些高频但无意义的“的”“了”“在”这类词交给后面的下采样策略去处理而不是在预处理阶段就一刀切删光。为什么因为某些任务里虚词也有它的句法作用全部删掉反而会影响句法类任务的向量质量。统计词频的时候还要设置一个最低词频阈值比如只保留出现次数不低于5次的词。低于阈值的词统一替换成UNK这样的特殊符号。这一步的意义是避免那些只出现过一两次的噪声词带偏训练它们在上下文中的信号几乎没有统计意义。2.2 上下文窗口与训练样本每个滑动窗口都是一条训练样本数据准备好的下一步是构造训练样本。正规做法是遍历语料中的每一句话对句子里每个位置的中心词截取它附近的上下文词形成一个(上下文词列表, 中心词)的训练对。举个例子一句话切分成[我, 喜欢, 深度, 学习]窗口设为2那么在中心词“深度”的位置上下文就是[我, 喜欢, 学习]右侧没到2个词就只取能取到的中心词“喜欢”的位置上下文就是[我, 深度, 学习]。句子边界不跨越这也算一条默认规则否则会平白造出大量跨句噪声样本。样本构造看起来简单但有个细节会直接影响训练效果窗口大小到底取多少。窗口小比如2~3时模型更关注词的紧邻搭配学出来的向量在句法任务上表现更好窗口大比如8~15时模型能捕获更远的主题信息学出来的向量在语义相似度上通常更占优。如果你的下游任务需要区分近义词小窗口往往更实用如果是做主题分类大窗口可能更好。构造完训练样本之后你会得到一份巨大的(context, target)列表。一个千万级词的语料样本量能轻松上亿这就是为什么后面要引入采样策略来降低计算量。2.3 高频词下采样与负采样两个看似反直觉的加速技巧CBOW训练中最关键的两个加速技巧一个叫高频词下采样一个叫负采样。这两个名字都有点反直觉值得稍微展开。高频词下采样subsampling的核心想法是像“的”“是”“在”这种出现频率极高的词如果每个训练样本都参与学习它们会占据大量的更新次数但信息量又不大。与其让它们刷屏不如让它们以一定概率在训练时被“跳过”。常用的概率公式是P(丢弃词w) 1 - sqrt(t / f(w))其中t是一个阈值一般取1e-3到1e-5f(w)是词w在语料中的出现频率。一个词出现频率越高被丢弃的概率越大但如果一个词本身频率已经低于t它基本不会被丢弃。实际效果是高频词在某些样本中消失模型把训练预算让给了更有区分度的中低频词。负采样negative sampling解决的是另一个问题。CBOW输出层理论上要计算词表里所有词的softmax概率可词表动辄几十万上百万每次训练都算一遍全表谁也扛不住。负采样的思路很直接我不去精确计算所有词的概率而是把任务从“多分类”改成“二分类”。对于一条正样本上下文, 中心词模型要学的是“这个中心词跟这个上下文是正确搭配的”然后我再随机抽几个词当“坏样本”让模型学会说“这些词跟这个上下文不是正确搭配”。这样每次更新只需要处理1个正例和K个负例计算量从词表大小级别降到了K级别。负采样时随机抽负词不是均匀抽而是按照词频的0.75次方作为权重来抽。0.75这个指数会让中频词有更多机会被选中作为负样本太高频和太低频的词都少一点经验上效果最好。如果你想深入了解可以去看原始论文这里先记住结论负采样样本数K一般取5到20数据充足时取小值数据少时取大值。2.4 一个最小可运行的样本构造示例理论讲完上点能直接跑的东西。下面的代码用Python演示了“上下文窗口提取下采样负采样”的核心逻辑不依赖任何深度学习框架方便理解import numpy as np def build_training_pairs(sentence_ids, window): pairs [] for idx, center_id in enumerate(sentence_ids): start max(0, idx - window) end min(len(sentence_ids), idx window 1) context_ids sentence_ids[start:idx] sentence_ids[idx1:end] pairs.append((context_ids, center_id)) return pairs def subsample_mask(counts, t1e-4): total sum(counts.values()) mask {} for word, c in counts.items(): f c / total prob_drop 1.0 - np.sqrt(t / f) if f t else 0.0 mask[word] 1.0 - prob_drop return mask def negative_sample_one(vocab_size, counts, k5): # counts是词频取0.75次幂作为采样权重 freq np.array([counts[i] ** 0.75 for i in range(vocab_size)]) prob freq / freq.sum() return np.random.choice(vocab_size, sizek, pprob)这里sentence_ids是分词后映射成整数索引的句子counts是词频表。实际训练时你会把这些样本喂给模型逐条更新参数。数据量很大时一般会用多线程并行读取语料并异步更新这也是各类开源词向量训练库默认做的事。3. 模型训练的关键细节网络结构、损失函数与超参数依据3.1 三层网络与嵌入表CBOW的真正计算过程很多人以为CBOW是个多复杂的神经网络其实它结构非常朴素就是三层输入层、投影层、输出层。输入层是上下文词的one-hot向量但实际工程中根本不会去构造那么巨大的one-hot矩阵而是直接用“查表”的方式获取词向量这张表就是输入层到投影层的权重矩阵通常叫W_in大小是词表大小V × 向量维度N。处理一条样本时把上下文里每个词查出来的向量取平均得到一个长度N的向量这个向量就是投影层输出记为h。然后h再乘上另一张权重矩阵W_out大小是N × V得到每个词作为中心词的得分。理论上再用softmax把这些得分变成概率和真实中心词的one-hot向量计算交叉熵。训练完成后真正被拿走当词向量用的是W_in也就是“查表表”。W_in的每一行对应一个词的向量表示。这也是为什么经常有人说“词向量其实就是神经网络第一层权重”的原因。不过请记住一个容易踩坑的点直接乘W_out算全词表softmax是最原始的版本只在玩具规模下可用。真实语料词表常常超过几十万全量softmax的计算量是灾难级的所以实际训练几乎一律使用负采样或分层softmax。关于分层softmax我这里不展开后面只讲负采样。3.2 负采样损失为什么能替代完整softmax负采样之后模型的输出不再是一个全词表的概率分布而是对若干个词分别做二分类判断。具体来说有一条正样本(context, center)我们拿到上下文向量h再随机采样K个负样本词。模型要对正例做sigmoid输出希望它接近1对每个负例做sigmoid输出希望它接近0。单条样本的损失形式是L -log σ(u_center · h) - Σ_neg log σ(-u_neg · h)其中σ是sigmoid函数u_center是中心词在输出矩阵中对应的向量u_neg是负样本词的输出向量。这个损失函数的直觉是让中心词的得分尽量高让随机抽出来的词得分尽量低。下面我用一个简洁的梯度更新片段说明训练循环方便你理解参数是怎么被更新的import numpy as np def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) def cbow_update(context_ids, center_id, neg_ids, W_in, W_out, lr0.05): # 上下文词向量取平均 h np.mean(W_in[context_ids], axis0) # 正例得分与梯度 pos_score np.dot(W_out[center_id], h) grad_pos (sigmoid(pos_score) - 1.0) * h W_out[center_id] - lr * grad_pos # 负例得分与梯度 for neg_id in neg_ids: neg_score np.dot(W_out[neg_id], h) grad_neg sigmoid(neg_score) * h W_out[neg_id] - lr * grad_neg # 投影层梯度再分摊回每个上下文词 delta_h sigmoid(pos_score) - 1.0 for neg_id in neg_ids: neg_score np.dot(W_out[neg_id], h) delta_h sigmoid(neg_score) for context_id in context_ids: W_in[context_id] - lr * delta_h / len(context_ids)这段代码为了可读性做了简化严格来说投影层梯度的计算要先基于更新前的输出向量但核心逻辑是一致的每次更新只涉及正例词向量和K个负例词向量而不是全表。这也是CBOW能在大语料上跑起来的根本原因。3.3 超参数不是拍脑袋选的维度、窗口、迭代与学习率CBOW需要调的超参数就那么几个但每个都有讲究。词向量维度N常见取值有100、200、300。语料规模小的时候比如只有几百万词用100维就够语料几亿词以上可以试试300维。提高维度不一定总有好结果词表不大时维度太高反而容易让向量过拟合到语料的统计噪声上。窗口大小window前面说过小窗口偏向句法大窗口偏向语义。中文语料里我一般先在5附近起步然后根据下游任务微调。如果做的是情感分析这类需要句法结构的任务可以降到3如果做的是文档主题相似度可以升到8。训练轮数epochs默认从3轮开始。语料大时1轮到3轮就够因为每个词在每轮里已经见过很多次了语料很小时训练轮数可以适当增加但要注意过拟合风险。判断标准不是loss越低越好而是后续评测结果是否在提升。初始学习率经典实现常用0.025然后随训练进度线性衰减到接近0。学习率不是越大越好太大会让向量在训练后期乱跳太小的后果则是训练半天学不动所以线性衰减是性价比很高的选择。负采样数negative一般5到20。语料量级越大、训练轮数越多越可以用较小的负采样数比如2到5语料少的时候负采样数可以加大到10以上让模型看到更多“反例”学到的决策边界更稳。3.4 训练中的稳定性问题随机种子、多线程与loss观察把上述参数填好训练就能跑起来了。但训练稳定性的坑往往比参数本身更隐蔽。第一是随机种子。词向量初始值是随机生成的负采样也是随机的如果不固定随机种子两次训练出来的词向量不会完全一样这是正常的但会影响实验对比的公信力。做正经实验时一定要固定种子。第二是多线程问题。开源库为了提高效率通常会用多个工作线程同时读取语料和更新向量。线程数加多了训练速度上来了但每个线程看到的样本顺序是随机的可能导致结果在小范围内浮动。我的习惯是对比实验时保持线程数一致否则不同线程数下的差异会干扰结论。第三是loss观察。CBOW训练过程没有传统深度学习里那种漂亮的验证集曲线。你可以周期性打印平均损失但更实用的做法是训练时顺便在固定评测集上做几次快速评估比如每训练完1/4数据就计算当前模型在相似度任务上的相关性系数看它是否在上升。如果上升曲线停滞甚至倒退就该检查学习率是否合理、语料是否过于重复、下采样是否过度了。4. 训练完之后怎么测试相似度、类比推理与可视化4.1 语义相似度评测用余弦距离量化词向量质量模型训练完第一个要做的测试就是“这个词和那个词像不像”。具体做法是把两个词的向量拿出来计算它们的余弦相似度。余弦相似度越接近1说明两个词在向量空间中的方向越一致语义越近。但单独看几个词对没什么说服力要做就做基准评测。常见的做法是使用公开的词语相似度评测集比如WordSim-353这一类里面给了一批词对和人工打分的相似度分数。你把词对的余弦相似度算出来再和人工分数算一下斯皮尔曼相关系数得到一个0到1之间的数越接近1说明词向量与人类直觉越一致。我用典型中文语料训练100维CBOW后这个相关系数大致能在0.5到0.7之间具体取决于语料质量和评测集领域。如果低于0.4基本可以判断训练出了问题优先检查分词和语料清洗。工程上更常用的测试是直接查询近义词比如用开源库加载模型后from gensim.models import Word2Vec model Word2Vec.load(cbow_100d.model) for word, score in model.wv.most_similar(算法, topn10): print(word, round(score, 4))这种看似简单的方法在项目里其实是最实用了。我每次训练完都会挑几个跟业务强相关的词来查一遍看到结果符合直觉才会继续往下用。4.2 类比推理评测向量加减法到底靠不靠谱词向量最出名的一个能力是“类比推理”典型操作是vec(男人) - vec(女人) vec(女王) ≈ vec(王后)用公式说就是目标词词A - 词B 词C然后在词表里找一个和结果向量最接近的词。写一个简易评测函数def analogy(model, a, b, c): vec model.wv[a] - model.wv[b] model.wv[c] return model.wv.similar_by_vector(vec, topn1)[0][0]这个测试的意义在于验证词向量是否真的编码了词之间的关系。不过实际使用中要降低预期CBOW在这种任务上也能跑但效果通常比Skip-gram略弱而且评测集里的类别要跟语料领域匹配。你要是拿法律语料训练的模型去测一堆文学类比分数自然很难看。这一步的主要价值是帮你诊断模型有没有“学歪”而不是追求刷高分。我踩过的一个坑是类比结果对词频非常敏感similar_by_vector经常返回一个高频泛化词比如“的”或“是”。处理办法是在候选词里排除训练样本中的高频泛化词只在业务词表范围内寻找最接近的向量这样结果才有参考价值。4.3 降维可视化与探针词亲手感知识别词向量的“空间形态”数值指标看多了容易麻木我强烈建议每次训练完都做一次可视化。把词向量用PCA降维到二维平面然后把注意力集中到某一类词上比如一堆编程语言名、一堆食物名、一堆情绪词观察它们是不是聚在一起。PCA的简单用法是这样from sklearn.decomposition import PCA words [算法, 模型, 训练, 推理, 数据, 特征, ...] vectors [model.wv[w] for w in words] pca PCA(n_components2) reduced pca.fit_transform(vectors)可视化之后经常能看到一个有趣现象高频词往往拥挤在原点附近低频词则散布在外围形成一个类似锥形的分布。这个现象是词向量训练过程的伴生产物不一定代表模型有问题但如果你发现所有词都堆成一个点团那就说明训练严重不足或者语料太偏了。探针词测试也是一招实用的手段。我会挑几个在语料里出现的但可能语义重叠的词比如“快速”和“迅速”看看它们的向量相似度有多高、它们的TopN近义词里有没有合理的词。这类测试本质上是在跟模型“对话”比看一个相关系数更能暴露问题。4.4 下游任务效果词向量作为特征的最终检验相似度和类比只能算“体检”真正的决定因素是下游任务效果。词向量最常见的用法是作为文本分类、情感分析、命名实体识别等任务的输入特征替代或拼接原来的TF-IDF特征。我的建议是做下游任务对比时至少跑三个版本——纯TF-IDF、CBOW词向量均值、公开预训练词向量。这样可以看清自己的CBOW训练到底贡献在哪里。词向量均值就是把句子中每个词向量做平均作为句子向量虽然简单但已经能应付不少任务。如果你的分类效果比TF-IDF差很多先别怀疑词向量没用看一下是不是句子长度差异大导致均值向量被长句稀释这时候可以考虑用TF-IDF加权平均或者用更复杂的池化方式。实测下来CBOW在数据量中等偏上的文本分类任务里通常都能稳定超过TF-IDF几个百分点但如果数据量很小反而不一定。因为词向量是从无标注语料里学习的语料跟下游任务的领域越匹配提升越明显。5. 实战里最常见的几个坑我的处理方式与建议5.1 语料“看起来干净”但训练结果依然崩问题出在哪有一回我处理一批爬回来的新闻文本肉眼看着挺干净没有乱七八糟的标签但训练出来的词向量怎么测都不对劲“体育”和“娱乐”两个词的相似度接近0而“体育”和“比赛”也远得要命。排查下来问题出在“句子边界”上。原始文本被我简单地按换行符切开但很多网页换行并不代表句子结束导致大量的“断句”样本是残句。CBOW的窗口如果跨过了这些残句边界上下文就是东拼西凑的。后来我改成按标点符号重新切句效果立刻正常了。另一个常见问题是语料虽然大但相似内容重复太多。比如同一个新闻源每天发大量模板化文章重复句子会主导训练让词向量产生奇怪的偏向。解决方案是去重或者按一定比例限制单篇文本的重复句子数量。我习惯训练前先跑一遍统计脚本看看句子重复率超过一定阈值就先做一轮去重。5.2 OOV与增量训练两个容易被忽略的工程细节测试阶段经常遇到“这个词不在词表里”的情况也就是OOVOut-of-Vocabulary。CBOW本身没法给OOV词生成向量你需要提前规划策略。最粗暴的办法是统一映射到UNK词向量如果业务里OOV太多说明语料不够需要换更大的语料或者修改分词方式。别等到上线了才发现一半查询词都映射到UNK那就晚了。增量训练也是个需要小心的操作。有些开源库允许你在一个训练好的模型上继续加载新语料接着训练这很方便但也很容易引入偏差。新词向量和旧词向量的分布未必一致继续训练会导致向量空间发生整体偏移。我的经验是如果能全量重训优先全量重训如果确实要增量训练新语料的规模不要超过原语料的20%并且把学习率调低一点比如从0.01以下开始。5.3 实验对比不可复现如何让每次训练可重复做实验最怕“明明结果不错过两天重跑一次分数掉了”。CBOW训练里随机种子、线程数、语料顺序都会影响最终向量这就会导致复现困难。我现在的做法是把每次训练的所有关键设置完整记录下来包括随机种子、学习率衰减方式、窗口、负采样数、下采样阈值、线程数、语料文件版本、分词工具版本。保存模型时也把当时的参数一并存下来这样无论什么时候回看都能定位差异来源。介质上固定随机种子是最重要的但也要知道这只能保证单机单线程下的可复现性多线程场景下还是会存在小范围浮动。5.4 关于CBOW的一个使用习惯每次训练完CBOW我不会只看相似度排行榜或相关系数而是先挑几个和业务强相关的词做一轮探针查询看看它们的TopN近义词是否合理。这个习惯帮我避免了好几次“指标好看但实际没法用”的尴尬。如果你想要一个稳得住的默认起点CBOW配合窗口5、维度100、负采样5、下采样阈值1e-4、固定随机种子在大多数垂直领域语料上都能得到一个不错的基线。等基线跑通之后再去逐个调整窗口和维度看下游任务的变化。词向量这条路的入门从CBOW开始永远不算晚因为它简单、可控、能讲清楚每一步在做什么而这些恰恰是后续理解更复杂语言模型的基础。

CBOW词向量实战：从上下文预测到语义表示

相关推荐

19套中考语文模试卷拆包：从刷题焦虑到靶向训练

PyTorch多参数动态输入模型导出ONNX实战指南

统信UOS SSH连接不上？从网络配置到远程维护的完整排查指南

更多资讯

Kubernetes核心概念实战解析：从Pod到Service的协同机制

从HTTP字段到日志审计：网络安全学习第三阶段的流量分析实战

jmeter操作数据库

数据结构.1时间与空间复杂度

超越检索：企业 RAG 的生产级系统设计

IPv4/IPv6寻址翻译器：从NAT64/DNS64原理到实战配置

今日更新

微信云开发旅游小程序实战：LBS打卡+UGC社交全栈方案

金融AI代理平台核心拆解：从多代理协作到财报分析实战

基于大数据的智慧旅游推荐与可视化平台架构实践

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？