中文NER序列标注实战：BIO标签对齐与BERT分类头微调-北京尧图网络

简介围绕BERT预训练模型微调实现命名实体识别任务的PDF文档面向自然语言处理初学者与希望落地NER项目的开发者聚焦实体类型定义、BIO标签编码、中文分词、标签对齐及模型微调等关键环节。全文以地址、书籍、公司、游戏、政府、电影、姓名、组织、职位、场景10类实体为例结合代码展示label与数字id互转、BertTokenizer处理中文句子、input_ids/token_type_ids/attention_mask含义并解释特殊符号与subword造成的分词长度不一致问题帮助读者理解从数据准备到评估应用的完整流程。资源包共1个PDF文件大小约545KB篇幅紧凑便于按章节查阅和对照实践。已有1245人学习适合作为BERT-NER入门笔记与代码参考也可用于课程实验、项目预研时快速梳理标签体系和数据处理思路。1. 中文 NER 的最小可用路径21 个标签、一次对齐、一个分类头手上有一批已经按字标注好的中文语料10 类实体想在一周内跑出一个能看的基线——这是我在自然语言处理方向里见过最多的入门诉求。绕开各种花哨方案最短路径其实只有三件事把 BIO 标签固定成一张 21 行的映射表用 bert-base-chinese 做分词并把字符级标签搬到 token 级最后接一个线性分类头微调。这份笔记把这三件事的代码、参数和翻车点都摊开了不是概念介绍是能照着敲的流程。适合谁做过文本分类、想往序列标注挪的人手里有 BIO 格式标注、但一跑就报 shape mismatch 的人以及模型能训、loss 也在降、但 F1 死活卡在 0.6 上不去的人。下面按「数据进、模型出、指标验」的顺序往下走每一步都给出可复现的片段和参数解释。2. 标签体系与 BIO 解析10 类实体为什么落成 21 个 id命名实体识别的第一行代码不是加载模型是定标签。标签定错后面所有对齐、训练、评估都是白做。这一章把 BIO 编码的来龙去脉讲清楚再把两个 txt 文件的读取和校验落地。2.1 B- 和 I- 的排布顺序决定了后面所有映射BIO 编码的含义很直白B- 表示一个实体的起始字符I- 表示实体内部的后续字符O 表示不属于任何实体。10 类实体每类一个 B- 和一个 I-加上一个 O正好 21 个标签。这个数字不是拍脑袋来的它等于1 2 × 实体类数后面改实体类时按这个公式重算别硬编码。# 定义实体类别顺序一旦确定就不要随意调整 entities [address, book, company, game, government, movie, name, organization, position, scene] # O 放最前然后所有 B-最后所有 I- label_names [O] [B- x for x in entities] [I- x for x in entities] # 双向映射id2label 用于解码label2id 用于训练 id2label {i: label for i, label in enumerate(label_names)} label2id {v: k for k, v in id2label.items()} print(len(label_names)) # 21 print(id2label[0], id2label[1], id2label[11]) # O B-address I-address参数说明entities的顺序直接决定 id 分配O 固定为 0B-address 为 1B-scene 为 10I-address 为 11I-scene 为 20。这种「B 全在前、I 全在后」的排布有一个隐含便利——同类实体的 B 和 I 相差固定 10后处理时能用bid 10直接算出对应的 I 标签。代价是这个 10 是写死的哪天加了一类实体偏移量变成 11所有依赖10的脚本会静默出错而且不报异常只是结果慢慢变差。另一种常见排布是 B/I 交错O0B-address1I-address2B-book3I-book4……这种排布下 B 永远是奇数、I 永远是偶数tag_id ^ 1就能在 B 和 I 之间切换写约束解码时很顺手。两种都行唯一的要求是整个项目统一训练、推理、评估三处的映射表必须是同一份最好直接从 config 里读不要各写各的。提示把id2label和label2id存成 json 跟着模型一起走推理端加载模型时从model.config.id2label取比在代码里重新抄一遍安全得多。2.2 从两个 txt 里把字符和标签分别读出来BIO 格式的原始数据通常长这样一个文件存文本一行一个字符空行分句另一个文件存标签一行一个标签空行同样分句。两个文件的行数必须严格对应第 n 行文本对应第 n 行标签。读取的时候按空行切句把每个句子拼成一个字符串标签保留成 list。# 读取文本空行作为句子分隔符 file_path text.txt texts [] current_sentence [] with open(file_path, r, encodingutf-8) as file: for line in file: line line.strip() if line: current_sentence.append(line) else: if current_sentence: texts.append(.join(current_sentence)) current_sentence [] if current_sentence: texts.append(.join(current_sentence)) print(texts[0][:30], len(texts))参数说明current_sentence这里用 list 收集再 join而不是直接做字符串拼接。原笔记里写的是current_sentence line然后.join(current_sentence)当它是 str 的时候这个 join 是恒等操作等于没写改成 list 之后 join 才有实际意义而且长文本下 list append 比字符串累加快一个量级。# 读取标签同样的空行切分逻辑 file_path char_label.txt char_label [] item [] with open(file_path, r, encodingutf-8) as file: for line in file: line line.strip() if line: item.append(line) else: if item: char_label.append(item) item [] if item: char_label.append(item) print(char_label[0][:10], len(char_label))如果你的数据不是「一行一字符」而是「字符\t标签」一行一格那就不能用上面这段得改成按\t切分第一列拼文本、第二列攒标签。抄代码之前先head -20看一眼原始文件这一步花三十秒能省掉后面两小时的 shape mismatch 排查。2.3 落表之前先做一次长度断言文本和标签读进来之后第一件事不是急着分词是断言。逐句检查len(text) len(label)不相等就打印出位置和前后文人工确认是数据问题还是读取逻辑问题。assert len(texts) len(char_label), 句子数量不一致 bad [] for i, (t, l) in enumerate(zip(texts, char_label)): if len(t) ! len(l): bad.append((i, len(t), len(l), t[:30])) print(f长度不一致的句子数: {len(bad)}) for item in bad[:5]: print(item)长度不一致的原因通常只有几种原文里有空格而标注时被跳过、全角半角和英文大小写混用导致字符数对不上、标注文件里多了一个空行让句子边界错位、或者原始文本里混进了不可见字符。这些都不是模型能自己纠正的必须在进 tokenizer 之前清理干净。第二道校验是标签集合。把标注文件里出现的所有标签收集起来和label_names做差集all_tags {tag for sent in char_label for tag in sent} missing all_tags - set(label_names) extra set(label_names) - all_tags print(标注里有但映射表里没有:, missing) print(映射表里有但标注里没出现:, extra)missing非空就意味着后面label2id[x]一定会抛 KeyError。常见情况是标注规范中途改过老数据里还留着B-Apparel这种已经废弃的类或者大小写不统一写成b-company。处理方式二选一要么把这些标签统一映射成 O 并记录在案要么补进entities重排 id 并重训。extra非空不报错但说明某些实体类在训练集里一个样本都没有验证集上这类实体的 F1 会是 0评估报告里要能解释得清。3. 分词与标签对齐subword 错位是 NER 的第一道坎字符级标签和 token 级输入之间隔着一层分词器这层是整条链路里最容易翻车的地方。中文看起来一个字一个 token实际跑起来会发现长度对不上、标签错位、实体被切断。这一章把错位来源拆开再把对齐函数逐行讲透。3.1 分词后长度对不上来源只有三类先跑一个最小例子看清楚分词器到底做了什么from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese) text 某遗址出土的丝织物残片 encoded tokenizer(text) print(encoded.keys()) print(encoded[input_ids]) print(tokenizer.convert_ids_to_tokens(encoded[input_ids]))输出里input_ids是词表 id 序列token_type_ids全是 0单句任务用不上但 BERT 的输入签名要求有attention_mask全是 1没有 padding 时。convert_ids_to_tokens把它还原成可读的 token你会看到前后各多了一个[CLS]和[SEP]。长度差异的来源我梳理下来就三类。第一类是特殊 token[CLS]和[SEP]各占一个位置但它们不对应原文里的任何字符标签只能给 O。第二类是 subword 切分英文单词和数字会被 WordPiece 拆开比如charles可能变成char和##les两个 token##表示这是接在前一个 token 后面的片段中文里偶尔也会遇到生僻词被拆。第三类是[UNK]词表里没有的字符会被替换成这个统一标记一个字符换一个[UNK]字符数没变但内容丢了。还有两个容易被忽略的点bert-base-chinese默认do_lower_caseTrue英文会被转成小写所以对齐时原文也要先.lower()否则assert t char会在第一个大写字母上炸掉另外中文里的全角空格、零宽字符可能被 tokenizer 直接吞掉导致 token 数比字符数少。3.2 get_token_label 的三条分支与一处死循环风险对齐函数的核心思路是三个迭代器同步前进token 迭代器、字符迭代器、标签迭代器。token 是单字符就消费一个字符和一个标签token 是特殊符号就给 O 且不消费字符token 是 subword 就按长度消费多个字符标签取这段里的非 O 值。def get_token_label(text, char_label, tokenizer): tokenized_input tokenizer(text) tokens tokenizer.convert_ids_to_tokens(tokenized_input[input_ids]) iter_tokens iter(tokens) iter_char_label iter(char_label) # 必须和 tokenizer 的 lowercase 行为保持一致 iter_text iter(text.lower()) token_labels [] t next(iter_tokens) char next(iter_text) char_tp next(iter_char_label) while True: # 分支一单字符 token汉字、单字符标点直接对齐 if len(t) 1: assert t char, f单字符对齐失败: token{t}, char{char} token_labels.append(char_tp) try: char next(iter_text) char_tp next(iter_char_label) except StopIteration: pass # 分支二特殊 token给 O不消费字符 elif t in tokenizer.special_tokens_map.values() and t ! [UNK]: token_labels.append(O) # 分支三[UNK] 消费一个字符继承它的标签 elif t [UNK]: token_labels.append(char_tp) # 分支四subword 或英文词按长度消费字符 else: t_label char_tp t t.replace(##, ) for c in t: assert c char or char not in tokenizer.vocab if t_label ! O: t_label char_tp try: char next(iter_text) char_tp next(iter_char_label) except StopIteration: pass token_labels.append(t_label) # 推进到下一个 token try: t next(iter_tokens) except StopIteration: break # subword 之后重新对齐字符指针跳过被合并的字符 if t not in tokenizer.special_tokens_map.values(): while char ! t[0]: try: char next(iter_text) char_tp next(iter_char_label) except StopIteration: # 原实现这里是 pass字符迭代器耗尽后 while 条件恒真会卡死 raise ValueError(f字符对齐失败token{t}) assert len(token_labels) len(tokens), 标签数必须等于 token 数 return token_labels参数说明text.lower()必须和 tokenizer 的do_lower_case配置一致用别的预训练模型时先确认这个开关。tokenizer.special_tokens_map.values()包含[PAD]、[UNK]、[CLS]、[SEP]、[MASK]判断时要单独把[UNK]排除因为它需要继承原字符的标签而不是给 O。那个raise ValueError是我改过的。原实现在字符迭代器耗尽时except StopIteration: pass然后continue回到 while 顶部此时char没变、t[0]没变条件依然成立程序就卡在这一行不动了。表现是训练脚本跑到某条样本时 CPU 占满但没有任何输出日志也不报错典型的黑匣子。改成抛异常至少能定位到是哪条样本、哪个 token 出的问题。血泪经验是对齐函数里任何except都不该静默吞掉StopIteration。3.3 对齐结果用两张表验证第一张表是逐 token 对照肉眼扫一遍token_labels get_token_label(text, char_label[0], tokenizer) tokens tokenizer.convert_ids_to_tokens(tokenizer(text)[input_ids]) for tok, lab in zip(tokens, token_labels): print(f{tok}\t{lab})正常情况下[CLS]和[SEP]应该是 O实体首字是 B-xxx后续字符是 I-xxx。如果看到某个 B- 后面紧跟 O 而不是 I-要么原标注就是单字实体合法要么对齐错位了。第二张表是反向还原。把 token 拼回字符串去掉特殊符号和##前缀和原文逐字符比对def restore(tokens, token_labels): chars, labels [], [] for tok, lab in zip(tokens, token_labels): if tok in tokenizer.all_special_tokens: continue tok tok.replace(##, ) for ch in tok: chars.append(ch) labels.append(lab) return .join(chars), labels restored_text, restored_labels restore(tokens, token_labels) print(restored_text) print(restored_text text.lower())含[UNK]的句子这个断言会失败因为原文那个位置是真实字符、还原出来是[UNK]。我的做法是统计全量语料里的[UNK]比例低于 1% 就跳过这些句子做断言高于 1% 说明词表覆盖不够得考虑换模型或者加自定义词表。这个比例不查模型在验证集上会莫名其妙地在某些人名、生僻字上全错而你又找不到原因。4. 样本封装、分类头与训练评估把对齐结果接进 Trainer对齐做完数据还是散的。这一章把单条样本封成模型能吃的 dict接上 Dataset 和 collator再配超参和评估函数跑通第一轮训练。4.1 make_sample 与 Datasetlabels 字段名不能乱起def make_sample(text, label, tokenizer): sample tokenizer(text) char_label label token_label get_token_label(text, char_label, tokenizer) sample[labels] [label2id[x] for x in token_label] return sample sample make_sample(texts[0], char_label[0], tokenizer) print(sample.keys()) print(len(sample[input_ids]), len(sample[labels]))参数说明sample的 key 里必须有labels这是BertForTokenClassification.forward的签名要求。写成label、target、tags都不会报错它们会被当成多余的 kwargs 塞进**kwargs然后丢掉结果是模型返回的 loss 为NoneTrainer 检测到 loss 是 None 就跳过这个 batch训练日志照常打印但 loss 一直是 0。这种静默失败比报错难查十倍。from torch.utils.data import Dataset class NERDataset(Dataset): def __init__(self, texts, char_labels, tokenizer): self.samples [make_sample(t, l, tokenizer) for t, l in zip(texts, char_labels)] def __len__(self): return len(self.samples) def __getitem__(self, idx): return self.samples[idx] train_ds NERDataset(texts[:800], char_label[:800], tokenizer) eval_ds NERDataset(texts[800:], char_label[800:], tokenizer)这里没有做 padding长度不齐的样本直接返回靠 collator 在 batch 内动态补齐。数据量上千之后预先把所有样本 tokenize 好放在内存里是可行的句子平均长度一百出头占用不大如果语料到十万级就得改成__getitem__里实时 tokenize否则内存会顶不住。from transformers import DataCollatorForTokenClassification collator DataCollatorForTokenClassification(tokenizertokenizer)这个 collator 干两件事按 batch 内最长序列补[PAD]同时把 padding 位置的labels填成-100。-100是 PyTorch 交叉熵的ignore_index默认值这些位置不参与 loss 计算。自己手写 padding 最容易漏的就是这一步补了一堆 0 进去模型把 padding 当成 O 类在学loss 曲线看着很漂亮实际是在拟合噪声。4.2 分类头、超参和显存2e-5 这个数是怎么来的from transformers import BertForTokenClassification model BertForTokenClassification.from_pretrained( bert-base-chinese, num_labelslen(label_names), id2labelid2label, label2idlabel2id, )参数说明num_labels必须等于 21写错会在加载分类头权重时 shape mismatch。id2label和label2id传进 config 的好处是保存模型时映射表跟着走推理端model.config.id2label直接可用不用再维护一份硬编码的表。分类头本身就是一个Linear(768, 21)随机初始化所以前几百步 loss 会掉得很快那是分类头在收敛不是模型在学实体。from transformers import TrainingArguments args TrainingArguments( output_dir./ner_out, learning_rate2e-5, per_device_train_batch_size16, per_device_eval_batch_size32, num_train_epochs5, weight_decay0.01, warmup_ratio0.1, evaluation_strategyepoch, save_strategyepoch, load_best_model_at_endTrue, metric_for_best_modelf1, logging_steps50, )参数逐个说清楚。learning_rate2e-5是 BERT 微调的经验中位数区间大概是 1e-5 到 5e-5超过 5e-5 时预训练权重被冲掉前两个 epoch 的 loss 会剧烈震荡验证集 F1 上不去低于 1e-5 时小数据集上五个 epoch 学不动loss 平稳但降不下去。per_device_train_batch_size16在 max_len128、8G 显存下大概能跑到 16 到 24显存不够先降 batch 再用梯度累积补等效 batch size别一上来就上 fp16混合精度在小模型上收益有限还容易出 NaN。num_train_epochs5是上限实际看load_best_model_at_end挑出来的最好那轮NER 数据量小的时候 3 轮就够第 4 轮开始验证集 F1 往往掉头向下。warmup_ratio0.1让前 10% 的步数线性升温避免第一步的大梯度把随机初始化的分类头打飞。weight_decay0.01由 Trainer 默认只作用在非 bias、非 LayerNorm 的参数上不用手动分组。4.3 seqeval 算的是实体级 F1不是 token 级准确率import numpy as np from seqeval.metrics import f1_score, classification_report def compute_metrics(eval_pred): logits, labels eval_pred preds np.argmax(logits, axis-1) true_labels, true_preds [], [] for p_seq, l_seq in zip(preds, labels): # 先按 -100 过滤再转标签名顺序反了会 KeyError tl [id2label[l] for l in l_seq if l ! -100] tp [id2label[p] for p, l in zip(p_seq, l_seq) if l ! -100] true_labels.append(tl) true_preds.append(tp) return {f1: f1_score(true_labels, true_preds)}参数说明seqeval接收的是字符串标签的二维列表传 id 会直接报错。-100的过滤必须在id2label转换之前做因为-100不在映射表里。f1_score默认算的是实体级 micro F1——一个实体的边界和类型都完全正确才算对B-company后面少了一个I-company就整个实体判错。这个口径和 token 级 accuracy 差别很大。中文 NER 语料里 O 标签通常占 85% 到 95%模型全预测 O 就能拿到 0.9 的 token accuracy但实体 F1 是 0。所以日志里只看 accuracy 会被骗评估必须挂compute_metrics用 F1 挑模型。classification_report可以额外跑一次看每一类的 P/R/F1实体样本不均衡时一眼就能看出哪类拖后腿。from transformers import Trainer trainer Trainer( modelmodel, argsargs, train_datasettrain_ds, eval_dataseteval_ds, data_collatorcollator, compute_metricscompute_metrics, ) trainer.train()5. 避坑与排查五条让 F1 卡住的真实原因这一章的五条都是我或者身边人实际踩过的按「现象 → 原因 → 解决」写遇到对应症状直接对号入座。5.1 标签体系改了映射表没跟着改现象训练能跑完loss 正常下降但验证集预测出来的实体类型全是乱的本该是公司的位置标成了电影。原因entities列表中间插入了一类新实体id2label重新生成后所有 id 整体后移但标注文件里的标签名没变、模型加载的是旧 config两边对不上。更隐蔽的情况是有人手动改过label2id的某几行改完没重跑校验。解决把id2label和label2id序列化成 json 存盘训练脚本启动时先读这份文件和当前label_names做全等断言不等就直接退出。改实体类必须走「改 entities → 重生成映射 → 重训」的完整流程不允许只改一半。5.2 [UNK] 位置标成 O实体被从中间切断现象含生僻字的人名、地名识别效果特别差模型在这些位置输出的全是 O实体只剩前半截。原因对齐函数里把[UNK]和[CLS]、[SEP]一起归到了「特殊 token 给 O」那一支。[UNK]虽然名字带方括号但它对应的是原文里的一个真实字符标签应该继承该字符的标注。解决判断特殊 token 时显式排除[UNK]让它走「消费一个字符、继承标签」的分支。改完之后统计语料里[UNK]的占比超过 1% 说明词表覆盖不足考虑换更大的中文预训练模型或者加自定义词表。5.3 padding 位的 label 没设 -100loss 降了但 F1 不动现象训练 loss 从 2.0 一路降到 0.3曲线很漂亮但验证集 F1 卡在 0.55 不动预测结果里短句正常、长句末尾全是 O。原因自己写了 padding 逻辑input_ids补了[PAD]的 idlabels补了 0也就是 O。模型花了大量容量去学「padding 位置是 O」这个毫无意义的规律真实实体位置的梯度被稀释。解决用DataCollatorForTokenClassification它会把 padding 位的 label 自动设成-100。如果必须手写补 label 时一律填-100补完打印一条样本确认。5.4 长句截断把实体切一半训练出大量孤立 B-现象验证集上模型频繁输出「有 B- 没有 I-」的碎片实体classification_report里各类实体的召回都偏低。原因tokenizer默认max_length512会截断超长句子里跨越截断点的实体被切成两半后半段直接丢掉训练数据里就留下了一个没有后续的 B-。模型学到的是「B- 后面可以跟 O」边界判断自然就松了。解决两种做法。一是按标点或句号先切句保证单句不超过max_length - 2留出[CLS]和[SEP]切的时候以实体边界为优先别在实体中间下刀。二是用滑动窗口窗口重叠 64 个 token预测时把重叠部分的 logits 平均。第一种简单我一般先用第一种。5.5 解码时不修非法转移B-company 后面跟 I-name现象人工检查预测结果发现B-company后面接了I-name或者句子开头就是I-position明显不符合 BIO 语法。原因argmax是逐 token 独立取的模型没有显式约束「I-x 的前一个必须是 B-x 或 I-x」。分类头学到的只是每个位置的边际分布序列级别的合法性没人保证。解决加一层规则后处理把非法转移压回合法序列成本几乎为零。更彻底的做法是在分类头上叠一层 CRF让转移矩阵参与训练但 CRF 会让训练慢 30% 左右数据量小于五千句时收益不明显先用规则修复顶着。6. 进阶加一层约束解码把非法 BIO 序列压回去规则修复的写法比 CRF 简单得多效果在多数业务场景下够用。核心逻辑是扫一遍标签序列遇到I-x但前一个标签不是B-x也不是I-x时把它降级成B-x。def fix_bio(tags): fixed [] prev O for tag in tags: if tag.startswith(I-): etype tag[2:] # 前一个不是同类实体非法 I- 降级为 B- if prev O or prev[2:] ! etype or prev.startswith(B-) is False and prev.startswith(I-) is False: fixed.append(B- etype) else: fixed.append(tag) else: fixed.append(tag) prev fixed[-1] return fixed这段代码的关键在prev[2:] ! etype这个判断B-company后面跟I-name时类型不同I-name会被改成B-nameO后面跟I-position时降级成B-position。修复之后再用seqeval算 F1通常能涨 1 到 3 个点具体幅度取决于模型本身有多「不守规矩」。要不要上 CRF我的判断标准是数据量。五千句以上、实体边界本身就模糊比如嵌套实体、长机构名CRF 的转移约束能带来稳定收益代价是训练时间增加、依赖多一个torchcrf之类的实现、调参空间也多一层。五千句以下规则修复的性价比高得多先把规则跑通确认瓶颈真的在序列合法性上再考虑换 CRF。还有一个我每次上线前必做的动作拿二十条人工标注过的句子跑完整推理链路把预测标签和真实标签并排打印出来逐条看。指标再高也替代不了肉眼看几条。有一次 F1 报 0.89我抽看发现模型把所有带「公司」二字的词都标成了B-company包括「公司」这个词本身出现在普通叙述里的情况——数据里这类样本标注本身就有歧义。这种问题指标看不出来只有人眼能发现。从那以后我每次训练完都强制走一遍这二十条的抽样核对不管指标多好看。希望帮到你。本文还有配套的精品资源点击获取

中文NER序列标注实战：BIO标签对齐与BERT分类头微调

相关推荐

中文NER实战：bert-base-chinese微调与标签对齐

BERT-NER微调实战：BIO标签、分词对齐与F1排查

MacPorts 管理 macOS 多版本 Python：安装、查询与默认切换

更多资讯

TRAE的solo与IDE模式：AI编程工具的双模实战解析

迷你世界UGC3.0脚本触发器事件管理实战指南

系统清理工具核心技术解析与优化实践

金融风控模型对抗学习增强实战解析

一枚回形针的隐藏宇宙：从机械设计到发散思维与AI安全

DEA介电弹性体驱动器PID控制：Simulink建模调参与扰动抑制避坑

今日更新

PLFM_RADAR：从被动告警到主动感知的微服务健康监控系统

SPI隔离设计实战：MAX14431BAEE+与STM32F407工业级应用

数字隔离器如何根治SPI通信地环路干扰：MAX14431与TM4C129实战

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？