【深度学习】MultiheadAttention-北京尧图网络

importtorchimporttorch.nnasnnimportmathclassMultiheadAttention(nn.Module):# 注意: Module 首字母大写def__init__(self,d_model,n_head): 多头注意力机制参数: d_model: 输入特征维度 n_head: 注意力头数量 super(MultiheadAttention,self).__init__()self.d_modeld_model self.n_headn_head self.n_dimd_model//n_head# 验证维度是否可整除assertd_model%n_head0,d_model must be divisible by n_head# 线性变换层self.q_weightnn.Linear(d_model,d_model)self.k_weightnn.Linear(d_model,d_model)self.v_weightnn.Linear(d_model,d_model)self.out_projnn.Linear(d_model,d_model)defforward(self,x): 前向传播参数: x: 输入张量 [batch_size, seq_len, d_model] 返回: 输出张量 [batch_size, seq_len, d_model] bs,seq_len,dimx.size()# 线性变换qself.q_weight(x)# [bs, seq_len, d_model]kself.k_weight(x)# [bs, seq_len, d_model]vself.v_weight(x)# [bs, seq_len, d_model]# 分割多头 - 更稳健的实现# 首先view到 [bs, seq_len, n_head, n_dim]qq.view(bs,seq_len,self.n_head,self.n_dim)kk.view(bs,seq_len,self.n_head,self.n_dim)vv.view(bs,seq_len,self.n_head,self.n_dim)# 转置为 [bs, n_head, seq_len, n_dim]qq.transpose(1,2)kk.transpose(1,2)vv.transpose(1,2)# 计算注意力分数# [bs, n_head, seq_len, n_dim] [bs, n_head, n_dim, seq_len]# - [bs, n_head, seq_len, seq_len]attn_scorestorch.matmul(q,k.transpose(-2,-1))/math.sqrt(self.n_dim)# 计算注意力权重attn_weightstorch.softmax(attn_scores,dim-1)# 应用注意力权重到值向量# [bs, n_head, seq_len, seq_len] [bs, n_head, seq_len, n_dim]# - [bs, n_head, seq_len, n_dim]attn_outputtorch.matmul(attn_weights,v)# 合并多头# 先转置为 [bs, seq_len, n_head, n_dim]attn_outputattn_output.transpose(1,2)# 合并最后两个维度 [bs, seq_len, n_head * n_dim] [bs, seq_len, d_model]attn_outputattn_output.contiguous().view(bs,seq_len,self.d_model)# 输出投影outputself.out_proj(attn_output)returnoutput# 测试代码if__name____main__:# 参数设置d_model64n_head8batch_size2seq_len10# 创建多头注意力层mhaMultiheadAttention(d_model,n_head)# 创建随机输入xtorch.randn(batch_size,seq_len,d_model)# 测试前向传播outputmha(x)# 验证输出形状expected_shape(batch_size,seq_len,d_model)actual_shapeoutput.shapeprint(f输入形状:{x.shape})print(f输出形状:{actual_shape})# 验证是否保留原始维度assertactual_shapeexpected_shape,\f形状错误! 期望{expected_shape}, 实际{actual_shape}print(测试通过输出与输入形状一致保留原始维度。)

【深度学习】MultiheadAttention

相关推荐

swin_base_patch4_window7_224.ms_in22k 特征提取指南：features_only 模式 4 级特征图（56x56 到 7x7）详解

把550B大模型扩展到多节点：NVIDIA-Nemotron-Labs-Teacher-Chat Ray分布式部署完整教程

时间与数字不再难：BEV Decision Mix numeric_temporal配置的43种计算题构建原理

更多资讯

脉冲神经网络：SNN的生物学原理与脉冲信息处理

SCI返修审稿人要求提供AIGC说明与检测单？2027国际期刊返修材料核验指南

【Valhalla L3开源评测｜GitHub热榜Top10】CCBaga｜Rust+Tauri桌面工具静态源码审计

一边是搜索 API 开放，一边是被令从联邦系统移除：DeepSeek 团队该怎样读这份 DHS 采购禁令

AI Agent 学习路线｜从零搭建智能体，小白程序员收藏这份大模型实战教程

dm-mod.ko与dax.ko

今日更新

电商智能运营体系从0到1：架构设计、落地步骤与避坑指南

压缩空气储能与热网热惯性联合优化调度：热电联产系统建模与求解

若依框架AI代码生成不稳定？用Agent Skill三层结构+五步法搞定

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？