Component and Dimension Sparsity in Transformer Refusal Mechanisms 论文总结-北京尧图网络

# Component and Dimension Sparsity in Transformer Refusal Mechanisms 论文总结论文信息：arXiv:2610.06903，接收于COLM 2026，作者：Vincent Siu, Glenn Grant‑Richards, Vlad Pavlovich, Yizhou Sun, Dawn Song, Chenguang Wang## 一、文章主要内容本文针对大语言模型**拒绝行为（Refusal，即模型拒绝回答有害问题）**的激活 steering（激活干预）机制开展可解释性研究。现有工作可以通过修改模型内部激活实现诱导/抑制拒绝行为，但人们并不清楚拒绝行为究竟编码在Transformer的哪些模块与维度中。1. 实验使用4个开源权重模型（Gemma2‑2B‑IT、Qwen3‑4B、Mistral‑3.2‑Small、Phi4‑Mini），把拒绝行为的激活干预拆解到**组件粒度（注意力头/层、MLP层）**，筛选出能够复现完整拒绝行为的稀疏组件子集。2. 实验发现：只操纵上游28‑48%的组件，就可以保留88‑101%完整的steering效果；在这些筛选出的组件内部，仅约50%残差流维度就可以保留85‑98%的干预效果。3. 拒绝信号存在**两级稀疏性**：①组件级稀疏：只有部分注意力、MLP组件承载拒绝信号；②维度级稀疏：在这些组件内部，也只有部分残差维度携带拒绝信息。拒绝行为不是弥散分布在整个Transformer，而是由一套结构化、可定位的电路机制组装而成。4. 旋转残差基之后干预效果近乎消失，证明拒绝信号依赖模型原生的特权基（privileged basis），不是随机子空间。5. 开源全部代码与原

Component and Dimension Sparsity in Transformer Refusal Mechanisms 论文总结

相关推荐

（已解决）关于fpga的时序收敛问题记录

Druid 连接池调优：5 个步骤把连接获取与慢 SQL 压到毫秒级

AI时代SEO新战场：用RankMeFast AI可见度追踪AI Overviews和大模型是否提及你的品牌

更多资讯

多模态Agent开发：视觉与浏览器自动化实战指南

FreeRTOS中文手册：API行为契约与底层原理深度解析

AI模型部署中的服务编排与性能优化实践

频率感知技术：AGI核心突破与医疗工业应用

Vue.js云台控制UI设计与工业级交互优化实践

工业相机GigE丢帧排查：网卡、网线与系统调优实战指南

今日更新

学生选课系统DFD图绘制指南：边界划分与分层校验实战

JIRA敏捷落地：Scrum角色权限、Sprint与燃尽图避坑指南

SEMI S8人机工程验收实战：从条款拆解到现场实测的完整指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？