Python+Keras实现Transformer中英翻译：自注意力、掩码与工程实践-北京尧图网络

简介这是一套基于Python与Keras-Transformer的中英文双向机器翻译实现面向高校毕业设计、课程实践与项目原型开发。系统以模块化方式封装Transformer标准组件完整代码包含数据获取、繁简转换、模型训练与翻译预测等环节并提供可直接运行的程序与技术文档经过完整性验证和功能测试适合作为二次开发基准。压缩包共21个文件约13.47兆其中6个pkl保存源语言与目标语言词表及编码中间结果3个py提供繁简转换和模型加载能力2个ipynb演示数据获取与训练翻译流程另有h5权重、txt说明与md文档目录结构清晰。已有72人学习下载。项目侧重标准接口的应用层实践若配合同源LSTM机器翻译项目对比可在相同数据集与预处理流程下深入比较Transformer与LSTM在翻译任务中的表现差异。1. PythonKeras-Transformer中英翻译这份课程设计源码为什么值得拆开看做机器翻译课程设计的人最怕什么不是不懂Transformer原理而是论文写完、代码跑不通。我拆过不少翻译类的课程设计项目绝大多数卡在同一个位置数据预处理和attention mask对不上训练到一半loss变成NaN或者decode阶段beam search直接崩掉。这份基于Python与Keras-Transformer的中英文翻译系统把完整源码和配套文档打包在一起从BPE词表构建、Encoder-Decoder模型组装到训练和beam search解码链路是完整的拿到手就能跑通一条小规模中英翻译基线。它解决的是课程设计和入门实践里最刚性的需求不用自己东拼西凑碎片代码照着文档改改参数就能完成一次从数据到译文的全流程实验。适合正在做NLP课程设计、需要快速搭翻译baseline、或者想理解Transformer工程落地的从业者。没有CUDA也能用CPU跑小数据集门槛比大多数人想象的低。2. 先把Keras-Transformer的实现逻辑掰开自注意力、掩码和位置编码2.1 自注意力机制在Keras里的落地方式Transformer和RNN最大的差异是它不再依赖逐步递归而是通过自注意力直接计算序列里任意两个位置之间的关联。这个设计让长距离依赖问题从“玄学”变成了可控的矩阵运算。在Keras中我一般直接用layers.MultiHeadAttention它封装了Q、K、V投影、多头拆分、缩放点积注意力和输出投影省掉了一大批手工矩阵运算代码。import tensorflow as tf from tensorflow import keras from keras import layers class TransformerEncoderLayer(layers.Layer): def __init__(self, d_model, num_heads, dff, rate0.1): super().__init__() self.mha layers.MultiHeadAttention( num_headsnum_heads, key_dimd_model // num_heads ) self.ffn keras.Sequential([ layers.Dense(dff, activationrelu), layers.Dense(d_model) ]) self.layernorm1 layers.LayerNormalization(epsilon1e-6) self.layernorm2 layers.LayerNormalization(epsilon1e-6) self.dropout1 layers.Dropout(rate) self.dropout2 layers.Dropout(rate) def call(self, x, training, maskNone): attn_output self.mha(x, x, x, attention_maskmask) attn_output self.dropout1(attn_output, trainingtraining) out1 self.layernorm1(x attn_output) ffn_output self.ffn(out1) ffn_output self.dropout2(ffn_output, trainingtraining) return self.layernorm2(out1 ffn_output)这段代码的核心在call方法的三个入参x是经过词嵌入和位置编码的序列张量training控制dropout是否生效mask是关键——因为中英句子长度不一padding部分不应该参与注意力计算就必须把这个掩码传给MultiHeadAttention的attention_mask参数。我在早期版本里漏传这个mask结果是所有padding位置在和有效词做注意力交互训练出来的模型性能直接掉了几个BLEU点。参数上d_model是嵌入维度key_dim是每个头的维度除以num_heads是为了保证多头拆分后总维度不变。dff是前馈网络的隐藏层维度一般取d_model的4倍。2.2 为什么用Keras而不是PyTorch或原生TensorFlow这不是说PyTorch不好而是课程设计场景里Keras有几个实打实的优势。第一Keras的MultiHeadAttention、LayerNormalization、Embedding这些高层API都是现成的代码量比原生TensorFlow少一半以上第二model.fit()自带训练循环、进度条和验证集评估不需要手写tf.GradientTape()第三调试体验好——每个层的输出shape是显式的shape对不上会在第一时间报错而不是等到梯度反传时才炸。但Keras方案也有边界最典型的问题是mask语义。Keras的mask机制在Embedding层里通过mask_zeroTrue自动生成但一旦你用了自定义层mask不会自动传递。所以我在实现里都是显式构造padding mask然后手动传到每一层。这个坑后面会专门写。2.3 位置编码为什么必须有以及sinusoidal和可学习的取舍自注意力本身对位置不敏感——你把句子顺序打乱注意力输出的结果是一样的。所以必须把位置信息编码进输入向量。两种常见做法sinusoidal位置编码和可学习位置编码。sinusoidal的好处是length可以扩展到训练时没见过的长度可学习位置编码则在固定长度下通常涨分更快。class PositionalEncoding(layers.Layer): def __init__(self, max_len, d_model): super().__init__() self.pos_encoding self._get_pos_encoding(max_len, d_model) def _get_pos_encoding(self, max_len, d_model): pos tf.range(max_len, dtypetf.float32)[:, tf.newaxis] i tf.range(d_model, dtypetf.float32)[tf.newaxis, :] angle pos / tf.pow(10000.0, (2 * (i // 2)) / d_model) even_idx 2 * (i // 2) angle tf.where(even_idx % 2 0, tf.sin(angle), tf.cos(angle)) return angle[tf.newaxis, ...] def call(self, x): return x self.pos_encoding[:, :tf.shape(x)[1], :]这段实现里tf.pow(10000.0, (2 * (i // 2)) / d_model)是原作者公式的直接翻译目的是让不同维度上的位置编码拥有不同的频率低维变化慢、高维变化快。这样模型既能感知绝对位置也能通过线性变换感知相对位置。实践中如果你的训练数据句子长度集中在20个词以内max_len设64就够设太大反而会引入无意义的参数噪声。3. 完整跑通一份中英翻译数据预处理、模型组装与训练3.1 数据预处理BPE分词、词表截断和padding对齐翻译系统的第一步不是模型是把中英文语料切成模型能吃的token序列。常见做法是用子词切分BPE或WordPiece而不是整词切分。整词切分会导致词表巨大且未登录词泛滥子词切分则能用几千到几万个token覆盖绝大多数文本。这个项目里如果你不想额外装sentencepiece可以直接用TensorFlow的tf.data配合已有词表处理。import re def preprocess_pair(en_sentence, zh_sentence, max_len64): # 英文统一小写并去掉多余空格 en_sentence re.sub(r\s, , en_sentence.strip().lower()) # 中文按字切分中间用空格隔开方便和英文一样按token处理 zh_sentence re.sub(r\s, , zh_sentence.strip()) zh_sentence .join(list(zh_sentence)) en_tokens [start] en_sentence.split() [end] zh_tokens [start] zh_sentence.split() [end] en_tokens en_tokens[:max_len] zh_tokens zh_tokens[:max_len] return en_tokens, zh_tokens这里英文走subword切分中文直接按字切分。中文字符本身粒度就接近词根级按字切分在课程设计规模下完全够用还能省掉一个中文分词工具的依赖。如果你的语料偏书面语按字切分效果不会差但如果涉及大量人名地名和专有名词建议还是用BPE统一处理中英两侧。词表构建要注意两端截断低频词要么丢弃、要么替换成unk标记。我一般按词频排序保留前32000个token否则模型会花大量参数去记忆只出现一两次的噪声词。同时别忘了四个特殊标记pad、start、end、unk。3.2 TensorFlow Dataset管道用tf.data把数据喂给模型预处理完的数据最好用tf.data.Dataset管理它能自动做shuffle、batch和prefetch。这里有一个容易翻车的细节翻译任务的decoder输入和标签是同一条目标句子的“左移”和“右移”即输入是start token1 token2 ...标签是token1 token2 ... end。这一步必须在batch之前完成并且要确保_tf_map函数里拿到的始终是tensor而不是python list。def tf_map(en_tokens, zh_tokens, en2idx, zh2idx, max_len): en_ids [en2idx.get(t, en2idx[unk]) for t in en_tokens] zh_ids [zh2idx.get(t, zh2idx[unk]) for t in zh_tokens] # encoder输入和decoder输入 enc_input en_ids[:-1] # 去掉end dec_input zh_ids[:-1] # 去掉end dec_target zh_ids[1:] # 去掉start return enc_input, dec_input, dec_target这里dec_input和dec_target就是标准的teacher forcing训练形式。dec_input是带上start的目标序列dec_target是它往后移一位的真实序列。推理阶段没有真值可用只能用上一步的输出作为下一步输入这是后面beam search要处理的逻辑。tf_map里的返回值最后要tf.keras.preprocessing.sequence.pad_sequences到固定长度。长度我习惯取50到64之间——太长会把大量padding填进batch里浪费算力太短会砍掉不少带有效信息的句子。3.3 组装Encoder-Decoder并完成训练配置Encoder部分就是用上一章的TransformerEncoderLayer堆叠几层。Decoder部分多了一个cross-attention——它的查询来自解码器自身键和值来自编码器输出。在Keras里写Decoder层要注意use_causal_maskTrue或手动构造look-ahead mask防止解码器看到未来时刻的token。这是翻译模型能不能train起来的分水岭漏了这个mask训练loss会显著偏高但模型未必爆炸所以特别隐蔽。class TransformerDecoderLayer(layers.Layer): def __init__(self, d_model, num_heads, dff, rate0.1): super().__init__() self.mha1 layers.MultiHeadAttention( num_headsnum_heads, key_dimd_model // num_heads ) self.mha2 layers.MultiHeadAttention( num_headsnum_heads, key_dimd_model // num_heads ) self.ffn keras.Sequential([ layers.Dense(dff, activationrelu), layers.Dense(d_model) ]) self.layernorm1 layers.LayerNormalization(epsilon1e-6) self.layernorm2 layers.LayerNormalization(epsilon1e-6) self.layernorm3 layers.LayerNormalization(epsilon1e-6) self.dropout1 layers.Dropout(rate) self.dropout2 layers.Dropout(rate) self.dropout3 layers.Dropout(rate) def call(self, x, enc_output, training, look_ahead_maskNone, padding_maskNone): # 第一个MHA自注意力带look-ahead mask attn1 self.mha1(x, x, x, attention_masklook_ahead_mask) attn1 self.dropout1(attn1, trainingtraining) out1 self.layernorm1(x attn1) # 第二个MHAcross attentionquery来自decoderkey/value来自encoder attn2 self.mha2( out1, enc_output, enc_output, attention_maskpadding_mask ) attn2 self.dropout2(attn2, trainingtraining) out2 self.layernorm2(out1 attn2) ffn_output self.ffn(out2) ffn_output self.dropout3(ffn_output, trainingtraining) return self.layernorm3(out2 ffn_output)look_ahead_mask是一个上三角矩阵保证位置i只能attend到0..i。padding_mask是把编码器输入的padding位置遮住避免解码器拿padding当有效信息。这两个mask一起传进去是Transformer实现里最容易出错的地方。训练配置上用model.compile()加自定义loss和accuracy。这里有个细节SparseCategoricalCrossentropy默认会对所有位置计算loss但padding位置不应该有监督信号所以要把sample_weight按照dec_target ! pad_id传入。loss_object keras.losses.SparseCategoricalCrossentropy(from_logitsTrue) def masked_loss(y_true, y_pred): mask tf.cast(y_true ! pad_id, tf.float32) loss loss_object(y_true, y_pred) return tf.reduce_sum(loss * mask) / tf.reduce_sum(mask) def masked_accuracy(y_true, y_pred): y_pred tf.argmax(y_pred, axis-1) y_true tf.cast(y_true, tf.int32) mask tf.cast(y_true ! pad_id, tf.float32) correct tf.cast(y_pred y_true, tf.float32) * mask return tf.reduce_sum(correct) / tf.reduce_sum(mask) model.compile(optimizerAdam(learning_rate1e-4), lossmasked_loss, metrics[masked_accuracy])注意from_logitsTrue是告诉loss函数网络输出的是未经过softmax的logits。如果你最后接了一个Softmax层却忘了改这个参数loss和accuracy会一起翻车。4. 训练参数与评估BLEU怎么算、超参怎么定4.1 数据集选择与清洗策略中英翻译的开源语料很多但课程设计不建议上几百GB的完整WMT一份几万到几十万句对的平行语料就够跑了。常见选择是UN Parallel Corpus的子集、或者从开源的中英平行语料里按长度过滤取样。清洗的核心规则有四条第一过滤掉包含乱码HTML实体的句子第二过滤掉长度过短少于4个词或过长超过50个词的句子短句大量重复会让模型学成复读机第三中英长度比超出正常范围的要剔除——比如一个极短的英文句子对应了超长的中文译文这类样本大多数是对齐错误的噪声第四做一次语言检测过滤把所有混入日韩字符或纯数字乱码的样本丢掉。清洗之后的语料按9:1划分训练集和验证集。不要用随机种子重叠的方式划分最好按文件名或句子序号取模确保训练集和验证集没有整句重复。4.2 超参速查表这些参数按顺序调翻译模型的超参并不需要从零摸索给出一组我反复验证过能稳定收敛的起点参数推荐值说明d_model256嵌入维度课程设计不需要开到512num_heads8和d_model配合head维度d_model/num_headsnum_layers4编码器和解码器各4层够用dff1024前馈网络隐藏层d_model的4倍dropout0.1默认值过拟合时加大到0.2batch_size64GPU显存不够时降到32learning_rate1e-4配合warmup时峰值设为1e-3再衰减max_len64训练和推理保持一致vocab_size32000中英两侧共享词表或分开都行warmup_steps是Transformer训练里容易被忽略但很重要的参数。它的作用是训练初期用极小的学习率让模型稳定起步观察loss不炸了再逐步推到峰值。在Keras里可以用tf.keras.optimizers.schedules.LearningRateSchedule自定义一个调度器。class WarmupSchedule(tf.keras.optimizers.schedules.LearningRateSchedule): def __init__(self, d_model, warmup_steps4000): super().__init__() self.d_model tf.cast(d_model, tf.float32) self.warmup_steps warmup_steps def __call__(self, step): step tf.cast(step, tf.float32) arg1 tf.math.rsqrt(step) arg2 step * (self.warmup_steps ** -1.5) return tf.math.rsqrt(self.d_model) * tf.math.minimum(arg1, arg2)这个调度器的形状是学习率先线性上升到warmup_steps之后按步数倒数衰减。warmup_steps的取值和语料规模相关几千句的小语料设1000左右几十万句设4000以上。4.3 评估BLEU是标准但不是全部BLEU是机器翻译最常用的自动评估指标计算的是候选译文和参考译文之间的n-gram重合度。Python里用nltk.translate.bleu_score就能算但要注意原始输出的句子要先做标准化再算否则大小写和标点不同会低估分数——这算是评估流程里的一个经典误用很多人拿原始模型输出直接和白金参考译文比对得出一个偏低的结果然后以为是模型不行。from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction def compute_bleu(reference, candidate): # reference是参考译文分词后的token列表支持多个参考 # candidate是模型输出的token列表 refs [ref.split() for ref in reference] cand candidate.split() return sentence_bleu(refs, cand, smoothing_functionSmoothingFunction().method1)SmoothingFunction().method1是必须的——当candidate里n-gram和reference完全没有重叠时不加平滑BLEU直接为0这在短句评估中会制造大量假零分尤其在小规模验证集上非常明显。BLEU之外我每次还会人工抽查二三十条翻译。看三个方面专有名词有没有忠实保留人称代词指代是否正确句子是否通顺到能读懂。有时代码里BLEU涨了0.5但人工看翻得更差了那大概率是模型在套用训练集高频句式来迎合n-gram重合这种现象在小语料上尤其严重。5. 翻译模型常见问题排查五个我踩过的坑5.1 训练loss变成NaN现象训练到某个steploss突然变成NaN继续训练模型输出全部是空或者乱码。原因最常见的是学习率过大导致梯度爆炸或者自定义loss里出现了除以零。另一种隐蔽原因是embedding层里出现了负的padding mask——padding位置被填入非常大的负数经过softmax后梯度爆炸。解决先把学习率降到原来的1/10确认峰值在1e-4以内接着检查masked_loss里tf.reduce_sum(mask)是否为0在代码里加一个tf.print或者断言最后检查输入数据里是否有无穷大的浮点值比如预处理时意外把空字符串变成了一个极大值。5.2 decoder端look-ahead mask写错导致模型看到未来token现象训练accuracy涨得很快但验证集BLEU极低模型像是在“复述输入”而不是翻译。原因decoder自注意力没有施加causal mask导致位置i能attend到i1及其之后的token。这样解码器学到的是“看答案再猜答案”训练loss当然很低但推理时没有未来token可用彻底露馅。解决在MultiHeadAttention里传入attention_mask手动构造上三角mask。Keras里如果你用的是use_causal_maskTrue要确认你的Keras版本支持如果是在自定义层里建议手动构造一个[batch, 1, seq_len, seq_len]的mask比依赖版本行为更稳。5.3 beam search出来的译文大量重复现象解码结果里的某个词反复出现比如“好的好的好的好的”或者“that that that that”。原因第一种是训练数据里大量短句重复导致模型学到复读偏好第二种是beam search的length penalty没加模型倾向于生成短句、用重复token填充到最大长度第三种是max_len设太大而训练数据普遍较短解码器在生成序列后半段时信息熵过低。解决在beam search里加length_penalty常见公式是score / ((5 len) / 6) ** alphaalpha取0.6到1.0之间。同时限制生成的最大长度不要超过训练数据95分位长度。复读问题如果仍然存在检查验证集里是否需要增加n-gram重复惩罚。5.4 词表里中文标点被过滤掉了现象训练loss正常但翻译出来的句子没有任何标点或者标点位置错乱。原因预处理阶段用了正则把咱们认为的“非字符”全删掉了逗号、句号、引号都被规则洗掉。中文标点和英文标点的token在词表里本来就少清洗规则一激进就全丢光了。解决清洗规则只保留中文字符、英文字母、数字和。,.!?这几种常见标点其余符号全部替换为空格。同时把标点也纳入词频统计否则模型训练时压根没机会见到它们。5.5 恢复训练时精度对不上、训练效果变差现象使用model.save_weights保存后再加载继续训练loss曲线和之前断开的点对不上甚至掉得更多。原因保存权重时没有同步保存优化器状态和当前学习率。save_weights默认只存模型权重优化器的动量、warmup_schedule当前步数全部丢失相当于用一个旧权重配一个新的优化器状态重新开始。解决用model.save(model.keras, save_formattf)或回调里的ModelCheckpoint(save_weights_onlyFalse)把优化器和调度器状态一并保存。恢复时用model keras.models.load_model(model.keras)这样学习率会接着断点时刻继续而不是从头再来。6. 进阶断点续训、推理提速与模型迭代方向6.1 断点续训的正确姿势课程设计工况下训练中断是常态笔记本合盖、内存不够、CUDA崩了。我建议在model.fit的callbacks里挂上ModelCheckpoint和EarlyStopping用验证集BLEU作为监控指标保存最优权重而非最后一轮权重。最优权重往往出现在中间某个epoch最后一轮反而因为过拟合指标变差。恢复训练时把initial_epoch参数传进去让日志记录连续起来。6.2 推理阶段的提速技巧训练完成后真正让人等得焦虑的是beam search推理。开beam_size4时每生成一个token要做4次前向传播CPU上跑几十条句子能等到怀疑人生。两个立竿见影的技巧第一把padding mask和encoder输出缓存起来解码时只做decoder的前向计算第二用batch推理替代循环推理——同时为batch里所有beam做前向计算这一步Keras原生支持得很好。再加上开启tf.function把动态图编译成静态图推理速度能提升到原来的三到五倍。6.3 接下来怎么迭代如果你做完这个项目想继续深挖三个方向可以走一是把beam search换成CTC-style解码或基于采样的解码策略对比不同解码对翻译质量的影响二是加入跨语言预训练模型做初始化比如用已有的多语言模型权重做迁移学习三是把单语语料利用起来做一个简单的back-translation增强让孤立语言模型从中英单语数据里学到更多句法信息。这套流程走下来我最大的教训是别在模型结构上纠结太久翻译项目的成败九成在数据处理和mask正确性上。从那以后我每写一个翻译模块强制先写mask验证用例——构造一个人为的、能看到未来的错误mask确认模型确实不会泄漏信息再开训练。希望帮到你。本文还有配套的精品资源点击获取

Python+Keras实现Transformer中英翻译：自注意力、掩码与工程实践

相关推荐

AI编程助手技能包skills实战：从原理到工程化落地

从无状态到有记忆：给Claude API构建记忆层的实践

Agent-Reach：面向LLM工程师的CLI优先工作流设计范式

更多资讯

GitHub Copilot 报 401 后，把 IDE 的 Base URL 改到 TaoToken 的排查记录

Claude深夜炸场后，TaoToken统一API通道实测两款传说级模型接入

一篇文章足够带你入门Qwen系列大模型：从API调用到本地部署的完整实践

HR软件考核设置怎么配？从指标库到评分规则的完整落地指南

独立开发者产品推广实战：从冷启动到留存的完整方法论

text-to-cad 实战：从自然语言到 STEP/STL/GLB 的落地链路与避坑指南

今日更新

Agent Skills 完全指南：原理、写法、安装与实战避坑

Agent Skills 实战：从 Genkit 定义到 GKE 部署与排查

Agent Skills 实战：从设计到调试的完整指南

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？