尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models
文章主要内容与创新点总结一、主要内容本文围绕大语言模型的超长上下文建模问题展开研究,核心目标是构建具备高效长期记忆能力的“能记忆的机器”。现有Transformer架构因全注意力机制的二次计算复杂度和长度泛化能力不足,难以处理超长序列,而现有稀疏注意力、循环架构等方案存在信息瓶颈、随机访问缺失或块选择不准确等缺陷。研究团队提出融合分层稀疏注意力(HSA)与滑动窗口注意力(SWA)的HSA-UltraLong模型,包括0.5B稠密模型和8B混合专家(MoE)模型(激活参数1B),在8万亿 tokens 数据上完成训练,并通过预热、预训练、长上下文中期训练、退火和有监督微调的五阶段训练流程优化模型性能。实验表明,该模型在8K预训练窗口、32K中期训练窗口的基础上,能成功外推至1600万token的超长上下文,在多数上下文检索任务中准确率超90%,同时在通用任务、数学任务、编码任务等标准基准上保持与现有模型相当的性能,验证了其在稀疏性、随机访问灵活性和长度泛化三大核心属性上的优势。二、创新点分层稀疏注意力(HSA)机制设计:借鉴混合专家(MoE)思想,将文本划分为固定长度块并生成地标表示,每个token通过检索分数选择top-k相关块,分别进行块内注意力计算后按检索分数加权融合,实现端到端的块选择与注意力学习,解决了现有稀疏注意力方案块选择不准确的问题。多机制融合的模型架构:结合SWA处理局部信息与HSA处理全局信息,共享中间层KV缓存压缩内存占用;采用“短序列Ro
RELATED

相关推荐

一份收录689款应用的macOS开源应用清单,如何帮你甩掉付费软件的包袱?

一份收录689款应用的macOS开源应用清单,如何帮你甩掉付费软件的包袱?

一份收录689款应用的macOS开源应用清单,如何帮你甩掉付费软件的包袱? 【免费下载链接】open-source-mac-os-apps 🚀 Awesome list of open source applications for macOS. https://t.me/s/opensourcemacosapps 项目地址: https://gitcode.…

📅 2026/10/31 14:36:37
KMS_VL_ALL_AIO 使用指南:一个文件三步搞定 Windows 和 Office 本地KMS激活

KMS_VL_ALL_AIO 使用指南:一个文件三步搞定 Windows 和 Office 本地KMS激活

KMS_VL_ALL_AIO 使用指南:一个文件三步搞定 Windows 和 Office 本地KMS激活 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 朋友新配的电脑装好系统才两周,右下角就浮出了…

📅 2026/11/1 10:29:21
使用 Cypress 绕过 CAPTCHA

使用 Cypress 绕过 CAPTCHA

本指南介绍如何在 Cypress 中处理 CAPTCHA,包括有效的绕过方法,以及当 CAPTCHA 仍然出现时的应对措施,帮助实现流畅的浏览器自动化。 什么是 CAPTCHA?能否自动化?CAPTCHA 与 Cypress:一段“艰难”的关系如…

📅 2026/11/1 7:01:40
MORE NEWS

更多资讯

📰

Gemini 4 Pro实测对决Claude Opus 5.5:推理与Agent工具调用全面领先

Gemini 4 Pro 的全新曝光消息今天下午刷屏,我这边其实提前拿到了 preview API 配额,趁着热度把 Claude Opus 5.5 拉到同一个擂台上实测了一轮。两天下来,结果比预期更集中:在自建的 25 个高难度任务中,Gemini 4 Pro 在…

📰

Agent工具调用重复循环:为什么砸钱训练治不好?

这种问题我见过太多了,所以看到 MiMo-V2.6 这个标题时,我第一反应不是嘲笑,而是想叹气。一个模型开始重复调用工具,团队为了修这个毛病,额外砸进去 227 万美元训练费,最后问题还在。翻译成大白话就是&#…

📰

SSD全盘加密落地:BitLocker与LUKS2参数、性能与恢复

一台笔记本用了三年准备转手,或者送维修点换个风扇,很多人的第一反应是"把文件删了、回收站清空"。我见过太多这种操作,包括一些自认为懂点技术的朋友。实际上你删掉的只是文件系统的索引,NAND 闪存里的电荷一个都没少&…

📰

MS-900备考四类致命错误:从刷题到许可模型与模拟复盘

MS-900这门考试,我前后考了两次才过。第一次考完还剩十几分钟,心里还挺美,点交卷那一刻觉得自己稳了,结果分数弹出来差了一大截。复盘的时候才发现,挂掉的不是知识量,而是备考方式——我把一门讲“云服务全…

📰

OpenClaw与企业微信对接实战指南

1. OpenClaw与企业微信对接项目概述OpenClaw作为一款新兴的自动化工具平台,其与企业微信的深度整合正在成为企业数字化办公的热门解决方案。这个组合最吸引人的地方在于,它能让传统企业通讯工具获得智能自动化能力。想象一下,当你的企业微信突…

📰

DeepSeek-V3 MLA注意力机制:KV Cache压缩与长上下文推理优化

多头潜在注意力机制(Multi-head Latent Attention,MLA)是 DeepSeek-V3 在模型架构层面最值得拿出来单独讲的一项改动。我第一次读到相关技术报告时,最直观的感受不是"又出了一个新注意力变体",而是它把推理阶…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬