面试-Pretrain 和 SFT 的伪代码-北京尧图网络

一、预训练（PT）标准Shifted Causal LM Loss 原理1. 核心：Shift 移位逻辑（为什么要shift）输入序列：[x₀, x₁, x₂, x₃]模型输入token_ids：input_ids = [x₀, x₁, x₂, x₃]模型预测目标：用x₀预测x₁，x₁预测x₂，x₂预测x₃Shift操作：labels = input_ids.clone()把labels向左移动一位，截断第一个token，末尾补padding：model输入：x0 x1 x2 x3model输出logits对应位置：预测x1 x2 x3 [pad]shift后labels：x1 x2 x3 padpadding位置设置为-100（CrossEntropy忽略标签，不计算loss）2. 数学公式（Causal Language Modeling Loss）设：logits∈[B,L,V]logits \in [B, L, V]logits∈[B,L,V]：batch、序列长度、词表维度shifted_labels∈[B,L]\in [B, L]∈[B,L]：移位后的标签VVV词表大小忽略标签值：−100-100−100单样本位置损失：Lpos=−log⁡(exp⁡(logitpos,label)∑v=1Vexp⁡(logitpos,v)) \mathcal{L}_{pos} = -\log\left(\frac{\exp(logit_{pos, label})}{\sum_{v=1}^V \exp(logit_{pos,v})}\right)Lpos=−log(∑v=1Vexp(lo

面试-Pretrain 和 SFT 的伪代码

相关推荐

宁波昨日出现龙卷风

Bit2Watt实战解析：云GPU无漏洞电网攻击原理、危害与全套防御方案

N-hour漏洞武器化实战：AI补丁逆向攻防重构与企业漏洞防御落地指南

更多资讯

GitLab git冲突解决全攻略：从原理到实操

你发出去的 PDF 里藏着多少隐私？聊聊元数据这件事

导师力荐！2026优质AI论文工具全解析，规范高效一步到位

维特智能蓝牙IMU在滑雪智能装备中的应用

分治思想：大问题拆成小问题

笑不活了！GLM-5.1 万能需求模板配 TaoToken，复制粘贴就能跑通代码脚本

今日更新

开源模型端侧落地实战：量化、推理加速与Agent上下文管理

AI Evals实战指南：从零搭建LLM应用评估体系与CI/CD集成

Java采购管理系统实战：从数据库设计到事务一致性

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？